- 博客(10)
- 收藏
- 关注
RSS订阅原创 增大虚拟机磁盘
2、下图可以看到，硬盘空间增大为32.2GB，在设备那里可以看到有两个分区，sda1跟sda2（请忽略sda3）。接下来增加一个分区。3、增加分区1）输入 fdish /dev/sda2）m 帮助3）由此判断我们增加的分区号应该为3(dev/sda1,dev/sda2……接下来应该是dev/sda3了吧)键入n，增加一个分区，得到： dev/sda34) 输入 p5） 输...
2019-03-26 10:05:39
746
转载 MySQL 处理海量数据时的一些优化查询速度方法
在参与实际项目中，当 MySQL 表的数据量达到百万级时，普通的 SQL 查询效率呈直线下降，而且如果 where 中的查询条件较多时，其查询速度无法容忍。想想可知，假如我们查询淘宝的一个订单详情，如果查询时间高达几十秒，这么高的查询延时，任何用户都会抓狂。因此如何提高 SQL 语句查询效率，显得十分重要。查询速度慢的原因：1、没有索引或者没有用到索引2、I/O吞吐量小，形成了瓶颈效应3、...
2019-03-21 15:00:49
173
原创 Cloudera namenode 启动失败
一、在添加hdfs后，启动时发现只有namenode失败，查看日志，错误如下java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:236) at org.apache.hadoop....
2019-03-20 17:45:33
1465
原创 Hive行转列
源数据data title uv2019-01-01 docter 1002019-01-01 nurse 992019-01-02 nurse 1992019-01-02 docter 200输出数据data docter nurse 2019-01-01 100 992019-01-02 200 199在hive中创建表...
2019-03-15 16:49:43
1520
原创 Hbase清空一张表
hbase(main):005:0> truncate 'fr:test'Truncating 'FaceBase' table (it may take a while): - Disabling table... - Dropping table... - Creating table...0 row(s) in 14.4220 secondstruncate是disab...
2019-03-14 17:44:56
814
原创 Pathname /C:/Users/slm/Desktop/tuijian.txt from hdfs://slm001:9000/C:/Users/slm/Desktop/tuijian.txt
在idea中通过spark读取文件是报的错误Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/slm/Desktop/tuijian.txt from hdfs://slm001:9000/C:/Users/slm/Desktop/tuijian.txt is not a valid...
2019-03-14 10:46:30
634
原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
在我使用 java API操作hive报的错误Exception in thread "main" java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask a...
2019-03-12 17:01:24
1738
原创 hive一直卡住不动
在使用hive 进行sql查询的时候，涉及mr的时候就会卡主不动。jps 发现ResourceManger没有启动启动之后会没事了start-yarn.sh
2019-03-12 16:19:57
8377
1
原创 Hive基础函数
一、hive函数1、关系函数2、日期函数3、条件函数4、字符串函数5、统计函数二、hiveQL1、DDL2、DML三、其它1、in()函数2、lateral view 函数3、row_number() 和rank()4、grouping sets()函数一、hive函数1、关系函数等值比较: =语法：A=B。如果表达式A与表达式B相等，则为TRUE；否则为FALS...
2019-03-11 13:49:00
356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人