![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Smallcaff
这个作者很懒,什么都没留下…
展开
-
hadoop fs 常用命令记录
# 创建目录hadoop fs -mkdir /storage# 递归创建目录hadoop fs -mkdir /storage/johnny/data# 将服务器上的文件上传到hdfshadoop fs -put file_path hdfs_path原创 2018-03-20 11:17:43 · 706 阅读 · 0 评论 -
将csv或者Excel文件导入到hive
1. 将csv或Excel文件转换为文本,以逗号或者制表符都可以: xigua.txtid,color,root,stroke,venation,umbilical,touch,status1,青绿,蜷缩,浊响,清晰,凹陷,硬滑,是2,乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,是3,乌黑,蜷缩,浊响,清晰,凹陷,硬滑,是4,青绿,蜷缩,沉闷,清晰,凹陷,硬滑,是5,浅白,蜷缩,浊响,清...原创 2018-03-21 14:46:50 · 2863 阅读 · 0 评论 -
将数据量很大的CSV写入到HIVE
在kaggle下载了一个train.csv,用于测试公司平台决策树算法,该数据有一个label标签和784个特征列,名字如pixel0,pixel1…….pixel783。具体操作如下(pyspark下):from pyspark.sql import HiveContexthivec = HiveContext(sc) # 创建一个hivecontext对象用于写执行SQL,s...原创 2018-03-22 10:21:19 · 1607 阅读 · 1 评论