u013029726的博客

使用命令行：sqoop import --connect jdbc:mysql://*.*.*.*:3306/test?characterEncoding=UTF-8--username aaa--password 'bbb' -tablelll尝试将mysql的数据导入到hdfs中，结果一直导入失败，并显示：Warning: /usr/local/sqoop/sqoop/../hba...

开启hadoop集群：start-all.sh关闭hadoop集群：stop-all.sh开启spark的主节点：start-master.sh 其他节点：start-slaves.sh关闭spark的主节点：stop-master.sh 其他节点：stop-slaves.shspark的启动方法：/usr/local/spark/bin/spark-shell 启动spark...

按照网上的一些教程搭建hadoop分布式系统，搭建完毕后，输入start-all.sh，报错说Permission denied (publickey,password)想了一下应该是由于ssh master登录本地需要输入密码，所以使用cd ~/.ssh/ssh-keygen -t rsacat ./id_rsa.pub >> ./authorized_keys...

拿到了一批门磁数据，看起来毫无意义==新手不知道怎么下手，看kaggle的各种大佬说数据分析的前期准备,EDA(Exploratory Data Analysis)特别重要，遂尝试EDA中。因为门磁数据特别多，首先将门磁数据按照门磁id进行了分类，分成了一百多个csv文件，一个文件就是一段时间门磁传感器的开关门情况。感觉这些数据应该是有规律的，所以用matplotlib可视化数据，横轴是天，纵...