- 博客(9)
- 收藏
- 关注
RSS订阅原创 大数据组件安装大全
安装部署初始化环境配置网络vi /etc/sysconfig/network-scripts/ifcfg-ens33# 修改DEVICE=ens33TYPE=EthernetONBOOT=yesBOOTPROTO=staticNAME="ens33"PREFIX=24IPADDR=192.168.88.120GATEWAY=192.168.88.2DNS1=114.114.114.114修改主机名hostnamectl --static set-hostname hadoo
2024-07-31 14:50:20
435
原创 Spark机器学习基础
不纯度 = P(X=0)(1-P(X=0)) + P(X=1)(1-P(X=1)) = 0.25 + 0.25 = 0.5。用来防止模型过拟合的参数，虽然线性模型本身是欠拟合的但是还是需要正则化系数来帮助我们调整模型。PCA使用的信息量衡量指标，就是样本方差，又称可解释性方 差，方差越大，特征所带的信息量越多。将文本根据数量从大到小依次训练为索引，出现有多的文本索引越小，最小为0.0。衡量参数的优劣的评估指标，用来求解最优参数的工具。用来评判模型的好坏，损失函数越小，那么模型越好。
2024-07-19 09:27:07
816
原创 Datax读取Mysql8报错
ERROR RetryUtil - Exception when calling callable, 异常Msg:DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。java.lang.Exception: DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的usern
2024-04-27 08:47:49
341
1
原创 hive安装
上传mysql-connector-java-8.0.28.jar到hive的lib目录。将hadoop的guava-27.0-jre.jar替换hive的低版本的guava。可以不做跳过使用mysql初始化。
2023-07-20 19:55:17
82
原创 hadoop集群搭建
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ise2YmxZ-1689854010747)(C:\Users\li’zheng’jie\AppData\Roaming\Typora\typora-user-images\image-20230707213257455.png)]
2023-07-20 19:53:44
71
原创 【无标题】scala笔记
scala的基本数据类型一般是从java中引用过来的[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UQhDchJn-1689507716358)(E:\Typora\16.png)]
2023-07-16 19:43:01
168
1
原创 Flume写入HDFS报错
这个报错说明hadoop的auava.jar包与flume的不同。1.删除低版本的jar包(这里我的是flume版本低)2.将高版本的jar复制到flume中。
2023-06-25 18:00:30
428
原创 Ubuntu安装Redis
保存退出，接下来，重启Redis服务。要测试Redis是否正常运行，可使用。检查Redis服务是否正常运行。修改配置文件开启远程连接。指令，该指令的值默认为。
2023-06-25 15:40:33
86
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人