- 博客(6)
- 收藏
- 关注
RSS订阅原创 2021-08-09
sqoop 报错Could not register mbeans java.security.AccessControlException: access denied2021年8月9日sqoop导出mysql数据库数据时报错：20/07/29 10:33:47 INFO hive.HiveImport: Loading uploaded data into Hive20/07/29 10:33:47 INFO conf.HiveConf: Found configuration file nul
2021-08-09 10:35:20
121
原创 2021-06-27
Spark提交任务报错：java.lang.ClassNotFoundException: test.ScoreDemo背景运行spark-submit 报错无法加载主类。我在网上遨游找了几个小时还是没找到解决问题的正确答案。基本都是说在sparkConf后面加上jar包绝对路径setJars(List("/home/li/IdeaProjects/sparktest/out/artifacts/sparktest_jar/sparktest.jar ") ,依旧没有解决问题。解决方案关键在于打包
2021-06-28 00:09:58
78
原创 2021-05-27
Python机器学习：不同行业工龄与薪水的线性回归模型1.读取数据import pandas as pddf1=pd.read_excel('IT行业收入表.xlsx ')df1.head(5)结果显示：x=df1[['工龄']] #自变量y=df1['薪水'] #因变量需要注意的是：自变量需要写成二维结构，因为要符合多元回归的逻辑。2.搭建模型from sklearn.linear_model import LinearRegressionregr=LinearRegres
2021-05-27 17:41:46
285
1
原创 2021-05-26
Spark Streaming（文件流、套接字流、RDD队列流）今天复习spark Streaming的文件流和套接字流以及RDD队列流。1.文件流import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object SparkStreamingTest1 { def main(args: Array[String]): Unit = { val
2021-05-26 17:39:07
135
原创 2021-05-20
文章目录前言一、Flume运行机制二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、Flume运行机制Flume的核心是把数据从数据源（如Web Server)通过数据采集（Source)收集过来，再将收集的数据通过缓冲通道（Channel)汇集到指定的接(Sink)。示例：pandas 是
2021-05-22 15:48:05
71
原创 2021-05-19
HDFS常用命令-help :输出这个命令的参数手册-ls : 查看指定路径的当前目录结构-mkdir : 创建空白文件夹（ -p参数表示创建目录来先检查路径是否存在，如果不存在，则创建相应的各级目录）-du : 统计目录下的所有文件的大小-df : 统计文件系统的可用空间信息-touch : 创建文件-rm : 删除文件/空白文件夹-rmkdir : 删除目录，此目录必须是空目录-cp : 复制文件-mv : 移动文件-put : 上传文件-cat : 显示文件内容-tail :
2021-05-20 09:40:59
92
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人