- 博客(18)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 重启网卡报Job for network.service failed because the control process exited with error code.。。 错误
[root@mina0 hadoop]# systemctl restart networkJob for network.service failed because the control process exited with error code. See "systemctl status network.service" and "journalctl -xe" for detai
2017-10-26 09:21:22
80562
31
原创 hadoop 高可用中journal 的作用
Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。hadoop2就解决了这个问题。图1 hadoop2.2.0（HA）中HDFS的高可靠指的是可以同时启动2个Name
2017-10-26 08:39:41
904
原创 flume学习01-flume介绍
最近学习了下flume的使用，以配合公司将日志系统独立出来的开发，官网用户手册：http://flume.apache.org/FlumeUserGuide.htmlflume架构a. 组件先搬上官网上的架构图从图上可以看到flume的事件定义成了一个数据流，一个数据流组成了Agent，其实就是JVM实例，每个Agent包含三个组件：Source
2017-10-21 21:54:44
410
原创 flume数据采集
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 （一）Flume架构介绍 1、Flume的概念 flume是分布式的日
2017-10-21 13:15:20
1425
原创 netcat 通信 简介
服务端：nc -l 6666 （声明一个端口号）客户端：nc mina0 6666 （连接服务端）然后服务端就可以和客户端进行通信了NetCat是一个非常简单的Unix工具，可以读、写TCP或UDP网络连接(network connection)。它被设计成一个可靠的后端(back-end) 工具，能被其它的程序程序或脚本直接地或容易地驱动。同时，它又是一个功能丰富的
2017-10-21 12:03:47
715
原创 VMware:无法打开磁盘G;\******.vmdk 或者某一个快照所依赖的磁盘
安装了虚拟机之后，一开始是可以启动，有一次突然的关闭，之后打开就提示虚拟机XX .vmdk 或它所依赖的某个快照磁盘，无法打开虚拟机，下面就来说一下如何解决这个问题解决方式：删除安装文件里以.clk 后缀名结尾的文件就可以了
2017-10-18 11:34:06
1934
原创 beeline 命令行客户端连接hive
[hadoop@mina0 bin]$ ll总用量 888-rwxr-xr-x. 1 hadoop hadoop 1031 4月 30 2015 beelinedrwxrwxr-x. 3 hadoop hadoop 4096 10月 15 23:41 ext-rwxr-xr-x. 1 hadoop hadoop 7844 5月 8 2015 hive-rwxr-xr-x
2017-10-16 08:11:19
19912
2
原创 mysql 密码强度规则设置
问题：mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;ERROR 1819 (HY000): Your password does not satisfy the current policy requiremen【原因】原来MySQL5
2017-10-15 21:51:25
31441
1
原创 启动hive 遇到jline 版本冲突问题解决
报错:[hadoop@mina0 hive]$ bin/hiveLogging initialized using configuration in jar:file:/home/hadoop/soft/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties[ERROR] Terminal initialization failed;
2017-10-15 20:13:33
1784
原创 map端join的实现 ，用来解决小表中数据的读取
通过阅读父类Mapper的源码，发现 setup方法是在maptask处理数据之前调用一次 可以用来做一些初始化工作1、需求：订单数据表t_order：iddatepidamount100120150710P00012100220150
2017-10-15 12:34:06
1596
原创 清晰weblog日志，过滤不合法的记录
日志：94.237.142.21 - - [18/Sep/2013:06:49:18 +0000] "GET /wp-content/uploads/2013/07/rstudio-git3.png HTTP/1.1" 304 0 "-" "Mozilla/4.0 (compatible;)"183.49.46.228 - - [18/Sep/2013:06:49:23 +0000] "-"
2017-10-15 11:37:56
2698
原创 利用reduce端的GroupingComparator来实现将一组bean看成相同的key
业务:输出相同订单编号中最大金额的记录订单编号 金额Order_0000001,Pdt_01,222.8Order_0000001,Pdt_05,25.8Order_0000002,Pdt_05,325.8Order_0000002,Pdt_03,522.8Order_0000002,Pdt_04,122.4Order_000
2017-10-14 21:34:35
264
原创 大数据第8天----------------------文件中统计单词出现的次数
涉及到的类:WordcountDriver.java, WordcountMapper.java WordcountReducer.javawordcount.txt文件内容：hello my name is zhuzhiwenwhat is your namehello my name is yyhello my name is kuaishou hello my name i
2017-10-11 09:14:44
1392
原创 java客户端访问集群时用户权限报错：rg.apache.hadoop.security.AccessControlException:
报错：org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-
2017-10-08 11:43:42
509
原创 hdfs dfsadmin -report 查看集群节点
[hadoop@mina0 hadoop-2.6.4]$ hdfs dfsadmin -reportSafe mode is ONConfigured Capacity: 72955723776 (67.95 GB)Present Capacity: 44937408512 (41.85 GB)DFS Remaining: 44937392128 (41.85 GB)DFS Used:
2017-10-08 11:21:43
10732
原创 namenode多个工作目录解决数据丢失问题
vi hdfs-site.xmldfs.replication2 dfs.namenode.http.address mina0:50070 dfs.name.dir/home/hadoop/soft/hadoop-2.6.4/name1,/home/hadoop/soft/hadoop-2.6.4/name2在实际生
2017-10-07 20:17:23
870
原创 利用secondarynamenode 回复namenode
1主要：把secondarynamenode 数据 迁移到namenode数据目录里，然后重启namenode2首先知道：secondarynamenode 默认每隔一小时备份一次数据core-site.xml fs.checkpoint.period 3600 The number of seconds between two periodic checkpoints.
2017-10-07 19:44:53
316
原创 利用SSH公钥实现A机器到B机器免密码登录
由于使用了Rsync同步备份文件功能，我们之间使用了SSH通道，但是输入密码是个问题，有没有一种方法可以不输入密码即可完成SSH登录的呢？肯定有！我们可以使用SSH公钥来实现免密码登录。比如我们有一台机器A，还有一台机器B，我们现在需要实现的功能是在A 机器上面实现免密码登录B机器。1.首先在A机器上面创建公钥帮助1
2017-10-01 12:00:38
1643
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人