大数据处理
文章平均质量分 84
小王同学88
这个作者很懒,什么都没留下…
展开
-
linux查找并杀死僵尸进程
1、查看系统是否有僵尸进程使用Top命令查找,当zombie前的数量不为0时,即系统内存在相应数量的僵尸进程。2、定位僵尸进程使用命令ps -A -ostat,ppid,pid,cmd |grep -e '1'定位僵尸进程以及该僵尸进程的父进程僵尸进程ID:3457,父进程ID:3425僵尸进程ID:3533,父进程ID:35113、使用Kill -HUP 僵尸进程ID来杀死僵尸进...原创 2019-12-02 22:25:32 · 209 阅读 · 0 评论 -
spring boot启动报错 Cannot determine embedded database driver class for database type NONE
解决方案:在启动程序@SpringBootApplication注解后面加(exclude={DruidDataSourceAutoConfigure.class})原创 2019-01-03 09:38:13 · 163 阅读 · 0 评论 -
mysql使用常见错误
一、用户权限问题以上错误指令中 将 whg01–>localhost就正常执行1、mysql> select host,user,password from mysql.user;查看ip、用户和密码2、mysql> update user set password=password(‘root’) where host=‘whg01’;执行进行密码更改二、密码过...原创 2018-12-20 21:59:44 · 664 阅读 · 0 评论 -
json文件的解析使用
原创 2018-12-20 21:59:19 · 445 阅读 · 0 评论 -
HashTable、HashMap、ConcurrentHashMap的原理与区别
希望各位小伙伴能带着如下几个问题来进行阅读,这样收获会更大。1.HashTable、HashMap、ConcurrentHashMap的区别?2.HashMap线程不安全的出现场景?3.HashMap put方法存放数据时是怎么判断是否重复的?4.JDK7和JDK8 中HashMap的实现有什么区别?下面先说这三个Map的区别:HashTable底层数组+链表实现,无论key还是va...原创 2018-11-11 19:56:46 · 390 阅读 · 0 评论 -
hive常见错误
1.动态分区表数据导入的报错1).背景知识:静态分区表和动态分区表的概念及正确数据导入方式静态分区表:数据导入之前分区已经存在的表格(可以load方式导入数据,也可以insert方式导入数据)这种方式先手动添加分区:alter table student_ptn01 add partition(age=18);alter table student_ptn01 add partition...原创 2018-11-03 19:07:38 · 888 阅读 · 0 评论 -
hadoop,hive常用指令
hadoop-hdfs常用指令1.安全模式常用操作命令:hdfs dfsadmin -safemode leave //强制 NameNode 退出安全模式hdfs dfsadmin -safemode enter //进入安全模式hdfs dfsadmin -safemode get //查看安全模式状态hdfs dfsadmin -safemode wait //等待,一直到安全模式...原创 2018-10-27 16:35:32 · 372 阅读 · 0 评论 -
大数据流处理框架介绍
实时流处理简单概述:实时是说整个流处理相应时间较短,流式技算是说数据是源源不断的,没有尽头的。实时流处理一般是将业务系统产生的数据进行实时收集,交由流处理框架进行数据清洗,统计,入库,并可以通过可视化的方式对统计结果进行实时的展示。本文涉及到的框架或技术有 Flume,Logstash,kafka,Storm, SparkStreaming等。实时流处理的的流程与技术选型 :一、日志收集由于...原创 2018-10-26 19:52:25 · 2986 阅读 · 0 评论 -
大数据十道经典海量数据处理面试题与十个方法大总结
大数据十道经典海量数据处理面试题与十个方法大总结 第一部分、十道海量数据处理面试题1、海量日志数据,提取出某日访问百度次数最多的那个IP。此题,在我之前的一篇文章算法里头有所提到,当时给出的方案是:IP的数目还是有限的,最多2^32个,所以可以考虑使用hash将ip直接存入内存,然后进行统计。再详细介绍下此方案:首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意...转载 2018-10-23 00:22:15 · 201 阅读 · 0 评论