参考链接:Hadoop综合大作业 - TicTac1 - 博客园 (cnblogs.com)
开始
首先爬虫~这次选择用'\t'隔开数据,因为简介中有,号 不可以重复出现, 否则会导致传入数据错乱的情况 如图(这里进行对价格的查询,正常来说不应该出现由丰华集”字样):
所以进行修改
dataframe.to_csv(filename, encoding='utf_8_sig', mode='a', index=False, sep='\t', header=False)
传输数据用FileZilla
接下来处理数据:
1.(擦屁股)
sudo sed -i '1d' Anyang_hot.csv
预处理数据(删除表头)
hdfs dfs -ls /
查找hdfs里面的东西
hdfs dfs -rm -R /work
删除/work文件夹及其内容
hdfs dfs -mkdir /work
创建新的文件夹
sudo sed -i '1d' Anyang_hot.csv
预处理数据(删除表头)
hdfs dfs -put ./Anyang_hot.csv /work
上传数据
hdfs dfs -ls /work 和 hdfs dfs -cat /work/Anyang_hot.csv | head -5
检查上传成功没有
# 创建外部表、插入数据,并且启用hive的新功能——update和delete
#外部表不可以进行DML操作 后期改成内部表~
create external table AY(name string,level string,area string,address string,introduction string,price string,relation string) row format delimited fields terminated by '\t' stored as textfile location '/work/';
成功!