大数据
数据轨迹
这个作者很懒,什么都没留下…
展开
-
Xpath中的索引问题
xpath使用的索引从1开始,这个地方容易引起习惯性的错误。原创 2018-12-31 13:00:29 · 3186 阅读 · 0 评论 -
hadoop(1):免密登入
每次我们启动hadoop集群的时候需要去在每台机器上启动相应节点,这样我们来回切换机器很麻烦,如果我们在一台机器上就可以连接登陆其他机器的话,就可以在本台机器上启动部署在其他机器上的所有服务了,但是直接连接的话会让你重复输入密码,也是很麻烦,这篇文章帮你解决这个问题。 1 ,启动两台虚拟机 一台主机名叫 redis110 , 另一台叫wanghc110 ,如果我们想从 redis110上登陆w...转载 2019-08-26 19:29:43 · 155 阅读 · 0 评论 -
spark读取MySQL大Table的效能问题
在测试从Spark Shell读取MySQL一张Large Table时,发生了Out of memory和connection timeout问题,记录一下处理的过程: MySQL Table资料笔数:1400万笔左右 Spark Cluster配置:Master * 1,Slave * 3,皆为1 core 8G Spark版本:2.1.1 星火配置配置: spark-env.sh ...转载 2019-08-28 19:38:26 · 718 阅读 · 0 评论 -
hive(1):快速复制表
1. CREATE TABLE new_table LIKE old_table; 2. 使用hadoop fs -cp 命令,把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下; 3. 使用MSCK REPAIR TABLE new_table;修复新表的分区元数据; ...转载 2019-09-11 10:18:16 · 622 阅读 · 0 评论 -
数据库将查询保存为csv
一、hive sqli (1)使用hive命令 hive -e 'select * from t_user limit 10' >> 1.csv; 设置表头 set hive.cli.print.header=true; 这种方式制定分割符号,不能修改分割服 (2)使用hive的sql语句 insert overwrite local directory '/u...原创 2019-09-12 09:46:16 · 1131 阅读 · 0 评论 -
hive(2):使用关键字作为字段问题
在使用hive创建表的时候有时候会提示如下错误: FAILED: ParseException line 5:2 Failed to recognize predicate 'user'. Failed rule: 'identifier' in column specification 错误的原因是: 使用了关键字user作为字段,修改方法: SET hive.support.sq...原创 2019-09-12 11:19:48 · 2057 阅读 · 0 评论