- 博客(42)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 flink学习2：随机流数据计算平方存数据库。
单机非集群，flink版本1.16.2，地址https://archive.apache.org/dist/flink/。flink的web界面提交新Job，使用全类名，并行度设置为1。注意远程连接到本机的数据库地址，首先保证虚拟机和本机的通信。提前结束任务，不然会持续写入数据库。
2023-11-02 09:01:54
93
原创 决策树分析入侵检测UNSW-NB15数据集
决策树分析入侵检测UNSW-NB15数据集accuracy 0.802precision 0.774recall 0.906f-score 0.835import numpy as npimport pandas as pdfrom sklearn import metricsfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.preprocessing import Normalizerfrom sklearn.met
2021-09-15 20:27:49
3478
原创 PCA降维：500个服从正太分布的3维度数据
算法简介主成分分析****PCA是一种通过降低数据维数简化数据结构的方法。其本质就是将高维空间中的数据通过正交变换投影到低维空间中，从而实现了图像数据中主要特征的提取。运用主成分分析的方法求解一个特征子空间，将用于训练和测试图像向该特征子空间里做投影，可以得到用于区分不同人脸的主要特征(即投影系数)作为识别的特征向量。PCA是一种基于最近重构性和最大可分性的降维方法。最近重构性：样本点到这个超平面的距离足够近。最大可分性：样本点在这个超平面的投影尽可能分开。算法描述：输入：样本集D={x1,x2,x3
2021-03-14 21:02:16
710
转载 学习笔记（30):搞定大数据平台：从入门到实战-spark集群服务启动测试
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-15 14:57:24
80
转载 学习笔记（29):搞定大数据平台：从入门到实战-Spark集群配置
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-15 14:09:33
196
转载 学习笔记（28):搞定大数据平台：从入门到实战-scala安装配置
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-14 16:50:19
101
转载 学习笔记（27):搞定大数据平台：从入门到实战-Kafka集群服务启动与测试
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-12 14:25:37
72
转载 学习笔记（26):搞定大数据平台：从入门到实战-Kafka集群配置
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-12 13:22:15
184
转载 学习笔记（25):搞定大数据平台：从入门到实战-Flume集群构建
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-11 13:41:18
77
转载 学习笔记（23):搞定大数据平台：从入门到实战-Flume安装部署
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-11 12:49:31
84
1
转载 学习笔记（22):搞定大数据平台：从入门到实战-Sqoop将MySQL数据导入HDFS
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-10 14:01:56
105
转载 学习笔记（22):搞定大数据平台：从入门到实战-Sqoop安装部署
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-10 12:06:00
117
原创 flask+python+mysql+网络爬虫
涉及flask+python+mysql+网络爬虫具体代码 在下面链接中https://download.csdn.net/download/weixin_45899520/12914668
2020-10-08 17:40:01
480
原创 情感分析 中文分词 词频统计等附代码
对获取的评论匹配褒义词表 统计褒义词数量并且可以将统计的褒义词输出到文件中，同理贬义词也可以。包含去除停用词 结巴分词。褒义词表可以下载from collections import Counterimport jieba#创建停用词listdef stopwordslist(filepath): stopwords = [line.strip() for line in open(filepath, 'r',encoding='utf-8').readlines()]#这里打开文件时
2020-10-08 17:34:52
1122
1
原创 对含有中英文的文本去除停用词 结巴分词
对含有中英文的文本去除停用词 分词这里的停用词表可以自己定义或者采用网上的是文本分类 情感分析进行预处理的步骤from collections import Counterimport jieba**# jieba.load_userdict('userdict.txt')**# 创建停用词list****def stopwordslist(filepath): stopwords = [line.strip() for line in open(filepath, 'r').rea
2020-10-08 17:13:33
1492
1
原创 爬取豆瓣top250电影每条电影的前n页评论，需要上一条博客代码里爬取的基本信息
#连接自己的数据库 电影基本数据库表已上传可以下载 或者自己根据上一条博客的代码爬取后存到自己的数据库有整个项目的资源可以下载 已上传flask+…import pymysqlimport sysimport requestsimport bs4import re#连接 mysql，获取连接的对象 con = pymysql.connect(host='localhost', user='name', password='123456', port=3306, db='student
2020-10-08 17:00:49
526
原创 利用python的BeautifulSoup4库爬取豆瓣top250基本电影信息
利用python的BeautifulSoup4库爬取豆瓣top250基本电影信息存在.txt文件中```pythonimport requestsimport bs4import redef open_url(url): #那么User-Agent到底是什么呢？User-Agent会告诉网站服务器，访问者是通过什么工具来请求的，如果是爬虫请求，一般会拒绝，如果是用户浏览器，就会应答 headers={'user-agent':'Mozilla/5.0 (Windows NT 10
2020-10-08 16:52:17
817
1
原创 解决centos7安装mysql服务出问题
centos安装mysql出问题先输入指令sudo rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm再安装yum install mysql-server
2020-10-08 16:26:05
112
原创 Linux学习笔记
linux学习笔记0基础关机：shutdown -h now重启：shutdown -rPwd 查看工作目录ls 查看指定目录内容-l 列表显示-a 显示所有 包括隐藏文件-d 只显示目录 不查看内容Cd 切换目录. 当前目录… 上一级目录Linux目录从/开始 叫做根目录/bin 大部分的系统命令/boot 启动相关目录/dev 设备文件目录/lib 库文件/etc 配置文件目录/media 多媒体目录/sbin 超级用户使用的命令目录/user 存放
2020-10-08 16:21:03
249
原创 matlab算法之二分法
function x=nabisect(fname,a,b,e)if nargin<4,e=le-4;end %如果输入参数《4个 e=le-4fa=feval(fname,a);%带入端点值后a1，2…的值fb=feval(fname,b);%同上if fafb>0,error(“函数在两端必须异号”);end %判断x=(a+b)/2; %中点值while (b-a)>(2e) %误差小于精度时 下面为二分迭代fx=feval(fname,x);if fa*fx
2020-10-08 16:06:52
3266
1
原创 java基础学习笔记
Java基础学习1.ScannerImport java.util.scannerScanner sc=new Scanner(System.in)Int num=sc.nextINT();String str=sc.next()Int temp=a>b?a:b; a大于b吗 大于的话就是a否则是b2.匿名对象 如果只使用唯一的一次如 public class Person(){String name;Publilc void showname(){Systom.out.prin
2020-10-08 15:53:05
226
转载 学习笔记（20):搞定大数据平台：从入门到实战-Zookeeper安装模式及不同厂商版本选择...
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-08 15:29:22
172
转载 学习笔记（20):搞定大数据平台：从入门到实战-Hive服务启动与测试
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-08 14:44:02
211
转载 学习笔记（19):搞定大数据平台：从入门到实战-Hive安装配置
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-08 14:13:32
354
转载 学习笔记（18):搞定大数据平台：从入门到实战-MySQL元数据库安装
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-08 13:08:40
78
转载 学习笔记（17):搞定大数据平台：从入门到实战-shell对HBase表进行测试
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-07 15:53:09
75
转载 学习笔记（16):搞定大数据平台：从入门到实战-HBase服务启动测试
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-07 15:35:25
185
转载 学习笔记（15):搞定大数据平台：从入门到实战-HBase安装配置
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-06 11:02:40
111
转载 学习笔记（13):搞定大数据平台：从入门到实战-HBase集群规划
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-06 10:00:07
70
转载 学习笔记（13):搞定大数据平台：从入门到实战-YARN测试运行
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-05 14:59:53
58
转载 学习笔记（11):搞定大数据平台：从入门到实战-YARN服务启动与测试
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-05 14:45:47
89
转载 学习笔记（10):搞定大数据平台：从入门到实战-YARN集群安装配置
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-05 13:57:35
70
转载 学习笔记（10):搞定大数据平台：从入门到实战-HDFS文件系统测试运行
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-05 13:25:12
69
转载 学习笔记（9):搞定大数据平台：从入门到实战-HDFS服务启动与测试
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-04 14:26:33
111
转载 学习笔记（8):搞定大数据平台：从入门到实战-HDFS分布式文件系统安装配置
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-04 13:09:40
346
转载 学习笔记（7):搞定大数据平台：从入门到实战-Zookeeper集群安装部署
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-03 15:20:31
64
转载 学习笔记（6):搞定大数据平台：从入门到实战-集群JDK安装配置
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-10-03 13:09:35
182
转载 学习笔记（5):搞定大数据平台：从入门到实战-集群分发shell脚本开发
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-09-30 16:40:19
106
转载 学习笔记（4):搞定大数据平台：从入门到实战-集群节点SSH免密码登录
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。...
2020-09-30 15:47:29
160
hadoop搭建 zookeeper_hbase_hive_sqoop_mysql_spark_hdfs.doc
2020-10-20
flask+python+mysql+网络爬虫
2020-10-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人