人生就是白干加白干-重新大数据分析记录

参考链接：Hadoop综合大作业 - TicTac1 - 博客园 (cnblogs.com)

开始

首先爬虫~这次选择用'\t'隔开数据，因为简介中有,号 不可以重复出现， 否则会导致传入数据错乱的情况 如图（这里进行对价格的查询，正常来说不应该出现由丰华集”字样）：

所以进行修改

dataframe.to_csv(filename, encoding='utf_8_sig', mode='a', index=False, sep='\t', header=False)

传输数据用FileZilla

接下来处理数据：

1.（擦屁股）

sudo sed -i '1d' Anyang_hot.csv

预处理数据（删除表头）

hdfs dfs -ls /

查找hdfs里面的东西

hdfs dfs -rm -R /work

删除/work文件夹及其内容

hdfs dfs -mkdir /work

创建新的文件夹

sudo sed -i '1d' Anyang_hot.csv

预处理数据（删除表头）

hdfs dfs -put ./Anyang_hot.csv /work

上传数据

hdfs dfs -ls /work  和 hdfs dfs -cat /work/Anyang_hot.csv | head -5

检查上传成功没有

# 创建外部表、插入数据，并且启用hive的新功能——update和delete
#外部表不可以进行DML操作 后期改成内部表~
create external table AY(name string,level string,area string,address string,introduction string,price string,relation string) row format delimited fields terminated by '\t' stored as textfile location '/work/'; 

成功！

实现功能