- 博客(133)
- 资源 (15)
- 收藏
- 关注
原创 Hadoop查看文件个数&文件大小&文件夹大小
一、表中文件个数:hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | wc -l二、 显示前5行(如果文件个数是200个会刷屏)hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | sed -n 1,5p三、查看总文件夹大小hdfs dfs -du -h -s /user/warehouse/ods.db/test_01...
2022-04-09 23:56:21 8393
原创 sublime行转列,列转行
一、行转列cmd+shift+f勾选正则替换将空格(需要替换的字符)替换为\n二、列转行1.cmd+a 全选中2.cmd+j
2022-04-02 15:48:31 3246
转载 thinkpad e470外接显示器后无声音
转载原文地址:https://blog.csdn.net/weixin_30537451/article/details/95117901
2020-10-01 10:12:03 374 1
原创 thinkpad e470偶尔不识别外接显示器
1.重启电脑,按F1进入BIOS2.找到exist saving changes,设置为yes3.问题解决
2020-09-28 21:33:41 1740
原创 hadoop2.6.5安装报错:Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.Name
centos6.5安装Hadoop2.6.5,在执行 hdfs namenode -format时报错如下:Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode原因:找不到对应的类,也就是说找不到jar包。所以需要配置 HADOOP_COMMON_LIB_NATIVE_...
2020-03-03 00:19:35 2077 3
原创 HIVE-SQL求连续天数
需求:求用户连续登陆天数1.数据准备create table tmpdb.test_01 asselect '1001' as user_id, '2017-01-01' as login_dateunion allselect '1001' as user_id, '2017-01-02' as login_dateunion allselect '1001' as user_id...
2019-11-28 19:42:50 1784 2
转载 HIVE差集运算详解(转载)
首先来介绍一下差集的概念:上图A中蓝色区域为 集合A-集合B,叫做A与B的差集。比如说有这么两个表:hive> select * from A;OK1 21 32 12 33 1Time taken: 0.3 seconds, Fetched: 5 row(s)hive> select * from B;OK1 21 42 22 3Time ta...
2019-08-07 21:16:02 1656
原创 Mysql逻辑架构
1.连接器:表现为指令为 mysql -h$ip -P$port -u$user -p,连接器负责和客户端建立连接、获取权限、维持和管理连接。2.查询缓存:mysql拿到一个查询请求后,会先到查询缓存中看看,之前是不是执行过这条语句。之前执行过的语句及其结果可能会以key-value对的形式,被直接存在内存中。key是执行语句value是返回结果。只要表中有更新这个表上的所有查询缓存会被清空。...
2019-07-20 16:48:45 145
原创 hive中显示字段值为NULL,impala中显示正确的值
今天遇到了一个问题,其实之前也遇到过类似的问题只是没有记录,导致这个问题我又花了两天去排查。问题:hive中显示字段值为NULL,impala中显示正确的值hive结果如下:impala结果如下:hdfs中的内容如下:最后发现问题还是两张表的字段类型有问题,真相在这里:前人挖的坑,后人只能跳咯!...
2019-07-20 10:23:46 3023 6
原创 HIVE修改列顺序中的坑
1.创建表,在d后增加e字段create table tmpdb.change_column_order_test as select 1 as a, 2 as b, 3 as c, 4 as d;alter table tmpdb.change_column_order_test add columns (e int);查看表内容如下:2.调整e字段顺序到d字段之后alt...
2019-07-12 10:05:28 4445
原创 如何实现大整数相加
需求:如何实现大整数相加,假设两个数long类型存不下。思路:将两个数分别存在数组中,然后按照位相加代码如下/** * @Author qucg * @Version 2019/7/3 * @Description 大数相加 * 思路: * 1.将两个大数A和B,按照位分别存在arrayA和arrayB中(从个位开始存) * 2.将arrayA和arrayB中的对应位数相加,注意...
2019-07-03 22:26:06 250
原创 寻找全排列的下一个数
题目给出一个正整数,找出这个正整数所有数字全排列的写一个数。如果输入12345,返回12354如果输入12354,返回12453如果输入12435, 返回12453代码实现/** * @Author qucg * @Version 2019/6/25 * @Description 寻找全排列的下一个数 * 步骤: * 1.找数字置换的边界 * 2.让逆序区域的前一位和逆序区...
2019-06-25 22:17:49 370
原创 使用栈实现队列
思路通过两个栈A B,A做入队操作,B做出队操作元素转移时机:如果出队时B是空的则将A元素转移至B代码实现/** * @Author qucg * @Version 2019/6/19 * @Description 使用栈实现队列 * 思路: * 1.通过两个栈A/B,A做入队操作,B做出队操作。 * 2.元素转移时机:如果出队时B是空的则将A元素转移至B */publ...
2019-06-19 21:49:41 172
原创 桶排序
桶排序就是将数据分在不同的区间中,然后每个区间排序,最后在合并成一个完整的有序数列,代码实现如下:import java.util.LinkedList;/** * @Author qucg * @Version 2019/5/27 * @Description 桶排序 * 区间跨度:(最大值-最小值)/(桶数量-1) * 桶的个数等于元素的个数 */public class ...
2019-05-27 22:13:04 168
原创 快速排序实现
快速排序为什么快? 快速排序的“快”是因为使用了“分治法”,使其时间复杂度降低到了(nlogn)实现的方法递归 (双边循环法 / 单边循环法)非递归代码实现/** * @Author qucg * @Version 2019/5/19 * @Description 快速排序,快速排序的“快”是因为使用了“分治法” */public class Q...
2019-05-19 10:53:38 464
原创 基于堆实现的优先级队列
/** * @author qcg * @version 2019/5/16. * @description 优先队列,二叉堆是实现优先队列的基础。该例中二叉堆属于大堆 * 应用场景: * 1.topK问题 * 2.不需要FIFO按照权重操作出队的情况 * 3.RabbitMQ中,当消费者不足,不能及时进行消费的情况下,优先级队列会生效 * 4.hadoop中Map结束之后会将IF...
2019-05-16 16:53:37 404
原创 二叉堆
二叉堆是堆排序和优先队列的基础以下为二叉堆的代码:/** * @author qcg * @version 2019/5/14. * @description 二叉堆示例 * 假设父节点的下标是parent,那么他的左孩子下标就是2*parent+1;右孩子小标就是2*parent+2; */public class MyBinaryHeap { /** * "...
2019-05-14 20:21:43 138
原创 基于数组实现的队列
/** * @author qcg * @version 2019/5/13. * @description 基于数组实现的队列 * 队列的类型:顺序队列、链式队列、循环队列、阻塞队列、并发队列 */public class MyArrayQueue { private String[] items; // 队列大小 private int size = 0;...
2019-05-13 17:08:29 664
原创 自定义栈(数组实现)
概念栈是一种操作“受限”的线性表,具有先进后出的特性应用场景word撤销网页后退语义校验(括号是否匹配等)代码实现/** * @author qcg * @version 2019/5/13. * @description 基于数组实现的栈 */public class MyArrayStack { private String[] items; // ...
2019-05-13 11:17:22 387
原创 自定义二叉树
import java.util.Arrays;import java.util.LinkedList;/** * @author qcg * @version 2019/5/10. * @description 自定义二叉树及其前中后遍历 */public class MyTreeNode { /** * 构建二叉树 * * @param i...
2019-05-11 09:27:27 366
原创 自定义链表
/** * @author qcg * @version 2019/5/6. * @description 自定义链表 * 头尾部的两步操作:1.插入节点(next指向node) 2.变更节点(last指针后移) * node.next=insertNode 这是插入元素的操作 */public class MyLinkedList { // 头节点指针 priva...
2019-05-07 16:52:41 384
原创 自定义数组
public class MyArray { private int[] array; private int size; public MyArray(int capacity) { this.array = new int[capacity]; size = 0; } /** * 插入元素 * ...
2019-05-06 19:25:36 488
转载 SQL各关键字执行顺序(MySQL)
首先给出SQL各个关键字的执行顺序,最后再给出说明:(8)SELECT(9)DISTINCT <select_list> (1)FROM <left_table> (3)<join_type> JOIN <right_table> (2)ON <join_condition> (4)WHERE <where_condition&g...
2019-04-27 08:49:25 6024
原创 将项目依赖的jar包打包到lib(指定)目录中
<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-dependency-plugin</artifactId> <executions> <execution> ...
2019-04-25 11:47:10 4021
原创 storm消费kafka报错
1.报错信息:java.lang.RuntimeException: java.nio.channels.ClosedChannelException at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:103) ~[storm-kafka-0.9.6.jar:0.9.6] at storm.kafka.ZkCoordinator....
2019-03-25 15:14:14 484
原创 IDEA创建基于maven创建scala项目
前提:下载jdk、scala、idea、maven操作步骤:1.new->project->maven2.创建骨架(archetype)net.alchim31.mavenscala-archetype-simple1.53.删除pom中test相关配置,删除args的第一行,修改 scala.tools.version和 scala.version 参数为对应的...
2019-01-16 09:46:58 493
原创 Xshell启动报错:由于找不到mfc110.dll,无法继续执行代码。重新安装程序可能会解决此问题
进入下载:https://www.microsoft.com/zh-CN/download/details.aspx?id=30679注意:64位系统要同时安装x86和x64才可以
2018-12-17 20:24:19 21005 7
原创 启动spark报错failed to launch org.apache.spark.deploy.master.Master
今天遇到一个启动spark的错误,启动日志如下:[root@master spark-2.0.2]# ./sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /export/service/spark-2.0.2/logs/spark-root-org.apache.spark.deploy....
2018-12-04 09:56:20 4246 1
转载 藏在县城的万亿生意
我们都知道中国有960万平方公里的土地,但我们对她有多少城市,县,镇,村并没有完整的概念?中国有多少城市?答:285个地级市、15个地区、30个自治州、3个盟。中国有多少县城?答:2856个县级行政区划单位(其中:860个市辖区、368个县级市、1453个县、117自治县、49个旗、3个自治旗、1个特区、1个林区)中国有多少乡镇?答:41658 个乡级行政区划单位(其中:...
2018-11-30 11:29:57 489
转载 Scala日志打印
基于scala-logging和logback的日志打印模板,其中logback是一个更高效/更优于log4j的日志打印框架,目前正逐渐替代log4j的位置,以下为实现日志打印的几个步骤:1. 添加依赖以maven为例:<dependency> <groupId>com.typesafe.scala-logging</groupId> <...
2018-11-28 17:30:44 6010
原创 添加log4j日志文件
### direct log messages to stdout ###log4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.Target=System.outlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.a...
2018-11-09 21:58:41 485
原创 圆肩恢复方法
先来认识一个概念中下斜方肌:上背与中辈的表层肌肉,就是我们平时认为的肩膀和背部圆肩和驼背的原因背部肌肉松弛,胸肌紧张,导致肩膀前后不平衡解决方法1超级赛亚人,每天3-4组,每组15-20次,详细内容见内容:https://zhuanlan.zhihu.com/p/22456810 需要器材:弹力带解决方法2以下锻炼3组为准靠墙天使 12-15每次靠墙胸部拉伸 每侧保持30s...
2018-10-26 09:08:25 516
原创 Phoenix整合SpringMVC报错
1.错误如下:严重: Servlet [SpringMVCServlet] in web application [/galaxy-report-business] threw load() exceptionjava.lang.AbstractMethodError: javax.ws.rs.core.UriBuilder.uri(Ljava/lang/String;)Ljavax/ws/r...
2018-10-22 15:30:36 526
原创 Flink之WordCount
pom依赖&lt;dependencies&gt; &lt;dependency&gt; &lt;groupId&gt;junit&lt;/groupId&gt; &lt;artifactId&gt;junit&lt;/artifactId&gt; &
2018-10-19 09:43:59 137
原创 windows10中teamviewer检测为商业版解决办法
卸载teamviewer在注册表中删除teamviewer修改mac地址重启电脑参考:1.https://51.ruyo.net/8967.html2.修改mac地址(注意第二个字符必须使用2,6,A或E):https://blog.csdn.net/zp357252539/article/details/73528005/...
2018-10-16 23:02:13 4108
原创 单机安装Hbase、Phoenix
Hbase安装http://www.bigdata234.com/2018/03/17/hbase单机版的安装/注意两点:1.启动hbase的时候注意要将我们外部的zk停掉2.将Phoenix中phoenix-4.8.2-HBase-1.2-server.jar、phoenix-core-4.8.2-HBae-1.2.jar拷贝到hbase的lib中Phoenix安装http://w...
2018-09-29 21:38:04 777
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人