- 博客(26)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 配置集群各机器间免密码登陆（开启ssh互信）
配置免密码登陆 #首先要配置itcast01到itcast02、itcast03、itcast04、itcast05、itcast06、itcast07的免密码登陆在itcast01上生产一对钥匙ssh-keygen -t rsa将公钥拷贝到其他节点，包括自己 ssh-coyp-id itcast01 ssh-coyp-id itca
2016-04-09 10:24:00
1607
1
原创 linux Shell脚本编程入门
新建shell脚本文件：test.sh输入内容：#头部定义! /bin/sh#打开调试记录输出set –x#打印123echo "123"#定义一个变量STR="HELLO TOM"#输出变量echo "$STR"#执行一个 hadoop MRhadoop jar /itcast/hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-
2016-04-30 15:34:18
782
原创 sqoop数据迁移工具
sqoop：HDFS <—> 数据库 数据迁移工具（注：代码为了表达清晰做了换行，运行时请放在一行中，使用空格隔开，或者加’\’进行行连接）一.安装：安装在一台节点上1.上传sqoop2.安装和配置在profiles中添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里二.使用第一类：数据库中的数据导入到HDFS上指定列 –columns ./sqoop import
2016-04-30 11:51:04
398
转载 JavaScript 获取访问主机资源信息
var curWwwPath=window.document.location.href;//获取主机地址之后的目录，如： uimcardprj/share/meun.jsp var pathName=window.document.location.pathname; var pos=curWwwPath.indexOf(pathName);//获取主机地址，如： http:
2016-04-24 19:41:33
507
原创 crontab--定时器命令
linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控制计划任务的命令 : crontab 命令。一、crond简介 crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划
2016-04-18 20:47:28
2852
1
原创 ERROR：格式化hdfs后，datanode只启动了一个
问题描述：使用dfs-format格式化hdfs之后，出现datanode只启动了一个的错误（原来有3个datanode，2个namenode）现场还原： 先查看一下namenode中 /$HADOOP_HOME/tmp/dfs/name/current/下的VERSION文件中的clusterID： NameNode1：clusterID=CID-fee4dcb4-9615-42c0-bd46
2016-04-18 09:48:40
1998
1
原创 ERROR:格式化hdfs时出现connection-refused
解决方法： (先确保你的每个节点网络设置中 勾选了 Available to all users) 重点来了!!!——> 先用./zkServer.sh start 启动各个zookeeper，再用./ hadoop-daemon.sh start journalnode启动各个NodeName上的 JournalNode进程。然后再进行格式化即可。问题描述：Re-format filesyst
2016-04-17 23:02:00
2190
转载 HADOOP的本地库（NATIVE LIBRARIES）介绍
Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。目前在Hadoop中，本地库应用在文件的压缩上面：zlib gzip 在使用这两种压缩方式的时候，Hadoop默认会从$HADOOP_HOME/lib/native/Linux-*目录中加载本地库。如果
2016-04-15 11:48:31
1253
原创 linux命令：返回上一次目录
返回上一次目录有时候千辛万苦进入了一个很深层的目录，一不小心输入了cd并回车，有什么办法快速回到刚才所在的目录呢？对于bash来说，只需要很管理的一个命令：cd -该命令等同于cd OLDPWD，关于这一点在bash的手册页(可使用命令manbash访问其手册页)中有介绍：Anargumentof−isequivalenttoOLDPWD，关于这一点在bash的手册页(可使用命令man bash访问
2016-04-15 11:41:15
63703
1
原创 错误：namenode无法自动切换成active
错误描述： 使用 kill -9 namenode-jps-id 杀死active状态的namenode1进程时，无法使namenode2自动切换到active状态 查看namenode2日志得到如下信息：org.apache.hadoop.hdfs.qjournal.client.QuorumException: Got too many exceptions to achieve q
2016-04-15 11:30:38
5141
原创 hadoop namenode ha--手动切换
hadoop namenode ha–手动切换 在参考本手册前请确保Hadoop中HDFS组件已经成功部署并正常运行，同时系统基本环境完备，包括ssh免密码登录、/etc/hosts等。 假设目前NameNode在服务器namenode1上运行，服务器namenode2作为standbynamenode，确保namenode2上至少已经安装了namenode服务。
2016-04-14 20:20:16
7891
原创 错误：datanode无法启动
查看日志如下: 2016-04-14 04:07:58,821 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to itcast01/192.168.1.201:9000. Exiting.
2016-04-14 19:48:32
640
原创 错误：ssh：could not resolve ....
错误描述：Java: ssh: Could not resolve hostname Java: Name or service not known library: ssh: Could not resolve hostname library: Name or service not known warning:: ssh: Could not resolve hostname
2016-04-14 16:19:14
2795
原创 捉急：ssh vim中不小心按下ctrl+s后卡死
ssh vim中不小心按下ctrl+sssh vim中不小心按下ctrl+s由于习惯, 经常会一不小心在ssh vim里面按下了ctrl+s… 然后整个shell就挂掉了. 以前都是强制结束的, google了一下, 发现原来按ctrl+q就可以了ctrl+s是”阻断向终端输出” ctrl+q是”恢复向终端输出” ctrl+c ctrl+z
2016-04-14 15:24:53
1900
原创 linux下网络死掉了肿么办？（Networking Disabled）
把大象装冰箱，总共分三步：第一步：停掉网络服务# sudo service NetworkManager stop第二步：清理网络状态文件# sudo rm /var/lib/NetworkManager/NetworkManager.state第三步：开启网络服务# sudo service NetworkManager start
2016-04-09 10:04:24
2358
原创 zookeeper集群搭建
1.上传zk安装包2.解压3.配置（先在一台节点上配置）3.1添加一个zoo.cfg配置文件$ZOOKEEPER/confmv zoo_sample.cfg zoo.cfg3.2修改配置文件（zoo.cfg） dataDir=/itcast/zookeeper-3.4.5/data server.5=itcast05:2888:3888 server.6=itcast06:2
2016-04-08 16:00:43
389
原创 WMware克隆虚拟机后出现网络无法连接的问题
克隆虚拟机后需要做的事情1. 修改主机名[root@user]#：vim /etc/sysconfig/network NETWORKING = yes HOSTNAME = host02 ###(要修改的内容，值视自己需求决定)2. 修改mac地址[root@user]#：vim /etc/udev/rules.d/70-persistent-net.rules 打开后会
2016-04-07 14:40:47
4350
原创 Partitioner编程——根据运营商分组统计用户上网流量
Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类。HashPartitioner是mapreduce的默认partitioner。计算方法是 which reducer=(key.hashCode() & Integer.MAX_VALUE) % numReduceTasks，得到当前的目的reducer。(例子以jar形式运行)排序和分
2016-04-05 20:11:00
331
原创 Linux下搭建eclipse环境
Linux下搭建eclipse环境： 1. 将eclipse安装包使用FileZilla传至虚拟机itcast01，解压到 /usr/local 2. 在桌面上创建快捷方式，更新图标 3. 打开eclipse，新建一个maven工程 参数设置：Group Id：cn.itcast.hadoop.mr Afract Id:datacount 4. 将
2016-04-05 16:53:11
367
原创 MapReduce编程--1.统计用户上网流量DataCount
数据原型： 行数据原型释义： 1363157993044(访问日期) 18211575961(手机号) 94-71-AC-CD-E6-18:CMCC-EASY (mac地址) 120.196.100.99 (ip地址)iface.qiyi.com (网站名称) 视频网站 (网站类型) 15 12 1527(上行流量) 2106(下行流量) 200(运行状态码)需求：将以上数据
2016-04-05 16:41:30
3578
原创 hadoop的序列化机制
序列化（Serialization）是指把结构化对象转化为字节流。 反序列化（Deserialization）是序列化的逆过程。即把字节流转回结构化对象。 hadoop将Java中的序列化接口（java.io.Serializable）进行了改造，已达到高效传输的目的序列化格式特点： 1. 紧凑：高效使用存储空间。 2. 快速：读写数据的额外开销小 3. 可扩展：可透
2016-04-05 16:04:42
361
原创 Map-Reduce核心之shuffle过程
重点内容！！！ 需要熟记： 80%-90%会问 一个切片split对应一个mapper，mapper将数据写到环形缓冲区，这个环形缓冲区默认是100M，当它达到80%阀值，它会将数据溢写到磁盘。溢写并不是简单的溢写，而是先进行分区，然后对每个分区进行合并，最后它会将数据合并成一个大文件，相同分区号中的数据进行合并，合并完成之后每个分区里面的数据再
2016-04-05 15:01:02
530
原创 HDFS操作——使用 FileSystem api 读写数据
在 hadoop 的 HDFS 操作中，有个非常重要的 api，是 org.apache.hadoop.fs.FileSystem， 这是我们用户代码操作 HDFS 的直接入口，该类含有操作 HDFS 的各种方法，类似于 jdbc 中 操作数据库的直接入口是 Connection 类。 那我们怎么获得一个 FileSystem 对象哪？String uri = “hdfs://192.168.
2016-04-05 11:27:33
3178
原创 RPC——远程过程调用协议
RPC（Remote Procedure Call）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC**跨越了传输层和应用层**。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用C/S模式。请求程序就是一个客户机，而服务
2016-04-05 10:59:58
386
原创 hadoop调试技巧--解除已经绑定的端口
在windows 的cmd下 解除已经绑定的端口：1 开始-运行-cmd,输入： netstat -aon|findstr “端口号” netstat -aon|findstr “9528”通过端口号，查看对应进程。 2 找到进程号对应的进程名称： tasklist|findstr “进程号” 如: tasklist|findstr “2932”。3
2016-04-05 10:47:40
528
转载 Java 应用类 － 这些功能再也不用自己写了
来自：u012624222的CSDN博客 链接：http://blog.csdn.net/u012624222/article/details/50349847 原文：http://www.programcreek.com/2015/12/top-10-java-utility-classes/ Java中有许多应用类，这些类定义静态方法可以解决很多常见的问题。下面是通过5万个开源项目统计得到
2016-04-04 19:22:59
848
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人