- 博客(114)
- 收藏
- 关注
RSS订阅原创 Schannel Error 36888
I am getting this Schannel Error 36888 over and over and over again. There NOTHING listed on the help site about it. I have no idea what it is, but my computer is crashing over and over again. I don'...
2016-10-15 19:27:23
4539
原创 chrome 30 install @CentOS6
Please ref: http://tecadmin.net/install-google-chrome-in-centos-rhel-and-fedora/
2013-11-01 13:13:17
128
原创 Hadoop TestDFSIO
@VM [bigdata@bigdata hadoop]$ hadoop jar hadoop-test-1.0.4.jar TestDFSIO -write -nrFiles 10 -fileSize 20Warning: $HADOOP_HOME is deprecated. TestDFSIO.0.0.413/04/21 12:54:47 INFO fs.TestD...
2013-04-21 21:02:06
392
原创 Hadoop NNBENCH
@VM[bigdata@bigdata hadoop]$ cat /proc/cpuinfoprocessor : 0vendor_id : GenuineIntelcpu family : 6model : 13model name : QEMU Virtual CPU version (cpu64-rhel6)stepping : 3cpu MHz : 199...
2013-04-21 20:46:54
655
原创 利用大数据创业
“大数据元年”，今年媒体上一直宣称，我们公司的销售也是一直把这句话挂在嘴边。我个人觉得，是相关处理工具发展到一定阶段的产物，同时也是市场的需要。今年的大数据项目比较多，客户总是要往云上靠，要是没有靠上，就会觉得自己Out了。 总之，数据的金矿随着时间的推移，从特殊到一般发展，从高端到低端发展，从大企业到小企业发展。 扯了这么多，要说什么呢？ 首先，大数据从那里来...
2013-04-15 11:07:20
403
原创 Hadoop 安装手册
Hadoop 安装手册 软件准备 a) CentOS6.2 b4bit ,需要安装 DEV 包,分区采用基本分区方式、关闭防 火墙、关闭 SELinux b) Oracle Javase 1.6.37 64bit(JDK) c) Hadoop1.0.4,从 http://hadoop.apache.org 下载 ...
2013-04-08 15:47:27
94
原创 vnc sever 不工作，原因是字体库缺失
Unable to launch VNCServer due to fontpath issues on CentOS 6When trying out VNCServer on both CentOS 6.2 and CentOS 6.3$ vncserver WARNING: The first attempt to start Xvnc failed, possibly ...
2013-04-02 10:14:16
699
原创 CAP理论
转发自:http://www.blogjava.net/hello-yun/archive/2012/04/27/376744.html在足球比赛里，一个球员在一场比赛中进三个球，称之为帽子戏法(Hat-trick)。在分布式数据系统中，也有一个帽子原理(CAP Theorem)，不过此帽子非彼帽子。CAP原理中，有三个要素：一致性(Consistency)可用性(Availa...
2012-11-29 14:41:02
96
原创 MapReduce Shuffle and Sort职责
1。决定Mapper的输出到那个Reducer,是由Partition决定的2。Reducer接收到的key都是排序好的
2012-10-15 13:48:01
114
原创 大数据应用的变迁
@爱摩王涛：数据的力量，未来商业的制高点 ，基础是云计算。//@数据化管理：「从商业智能到消费智能」在商业智能时代企业收集各类数据支持自己的决策。而在消费智能时代，数据分析业务将作为一项服务由企业提供给消费者，支持他们自己的消费决策。银行帐单分析就是这种思路。B2C网站也可以提供消费者个体的购买行为分析给消费者，让他们自己决策。http://t.cn/zOga2xj从企业向个人用户转换的决...
2012-09-24 09:54:05
121
原创 What do real life hadoop workloads look like
http://www.cloudera.com/blog/2012/09/what-do-real-life-hadoop-workloads-look-like/
2012-09-10 15:52:42
96
原创 CDH4 HA 切换时间
blocksize:35Mfilesize 96Mzk-session-timeout:10slogs:active nn:Wed Sep 5 13:20:25 CST 2012zk:[zk: localhost:2181(CONNECTED) 19] get /hadoop-ha/mycluster/ActiveStandbyElectorLock...
2012-09-05 15:15:07
643
原创 CDH4 HA 切换
HA 切换问题切换时间太长。。。copy 0 ...Wed Sep 5 10:30:01 CST 2012copy 1 ...Wed Sep 5 10:30:18 CST 2012copy 2 ...Wed Sep 5 10:30:57 CST 201212/09/05 10:47:24 WARN retry.RetryInvocationHa...
2012-09-05 10:51:23
208
原创 Hadoop CDh4 Standby HA 启动过程
根据日志:StandBy NN启动过程1.获得Active NN Checkpoints信息2.在内存中，注册Live Nodes3.SB NN 进入Safe Mode4.从Datanod获取包信息5.离开Safe ModeCheckpointing active NN at bigdata-4:50070Serving checkpoints at bigda...
2012-08-02 11:40:26
140
原创 Hadoop CDH4 HA Exception
环境: 写入数据时，active node被kill掉分析: 与Active连接断开，Active没有返回Response，此异常，需要捕获并处理，可以添加休眠，以便Standby切换成 Active日志:2012-08-02 10:50:28,961 WARN ipc.Client (Client.java:run(787)) - Unex...
2012-08-02 11:09:05
320
原创 CDH4 HA test
场景： NN HA 设置成功，HA切换客户端出现异常，错误分析 用户执行Shell脚本问题日志：客户端2012-08-01 14:37:07,798 WARN ipc.Client (Client.java:run(787)) - Unexpected error reading responses on connection Thread[I...
2012-08-01 14:55:40
180
原创 Hadoop TextOutput
TextOutputFormat分隔符参数:mapreduce.output.textoutputformat.separator
2012-07-29 21:08:26
79
原创 Hadoop SteamXMLRecordReader
StreamXmlRecordReader设置属性stream.recordreader.class=org.apache.hadoop.streaming.StreamXmlRecordReader详情参考http://mahout.apache.org/ XMLInputFormat
2012-07-28 23:59:11
120
原创 Hadoop NLineInputFormat
NLineInputFormat重写了splits设置参数 mapre duce.input.lineinputformat.linespermap应用场景 如创建了一个数据源文件，每个Map处理一行，连接不同的数据库 Reduce数量设置成0，是一个Map Only任务...
2012-07-28 23:52:46
112
原创 KeyValueTextInputFormat
key/value 分割符mapreduce.input.keyvaluelinerecordreader.key.value.separator
2012-07-28 23:40:55
151
原创 Hadoop 控制split尺寸
三个参数决定Map的Split尺寸1.mapred.min.split.size2.mapred.max.split.size3.dfs.block.size根据公式: max(minimumSize,min(maximumSize,blockSize))默认情况: minimumSize < blockS...
2012-07-28 23:08:52
293
原创 Setting up Disks for Hadoop
Setting up Disks for HadoopHere are some recommendations for setting up disks in a Hadoop cluster. What we have here is anecdotal -hard evidence is very welcome, and everyone should expect a bit o...
2012-07-22 12:13:48
73
原创 Upgrade hadoop need think about it
Compatibility When moving from one release to another you need to consider the upgrade steps that are needed consider. 1.API compatibility 2.Data compatibility 3.Wire compatibilit...
2012-07-21 17:17:50
69
原创 Hadoop 0.23 config differ from 0.20.205
http://hadoop.apache.org/common/docs/r0.23.0/hadoop-project-dist/hadoop-common/DeprecatedProperties.html
2012-07-21 17:14:11
56
原创 Hadoop exception(Could not obtain block)
java.io.IOException: Could not obtain block: blk_3994194388687994288_1253 file=/tmp/hadoop-jack/mapred/staging/jack/.staging/job_201207131721_0004/job.split at org.apache.hadoop.hdfs.DFSClient$DFS...
2012-07-13 17:22:50
858
1
原创 Hadoop 配置不当引起集群不稳
配置不当内容 资源配置不当:内存、文件句柄数量、磁盘空间 需要调整的地方 Hadoop、OS 配置文件 Oversubscription of MR heap caused swap -> Swap caused RegionSrver to time out and die -> Dead RegionServer caused MR tasks to ...
2012-07-05 15:35:10
130
原创 Hadoop管理-集群维护
1.检查HDFS状态 fsck命令 1)fsck检测丢失及无效的数据块 -fsck只是起到检测作用，不会进行修复 2)fsck可以查看的内容 -每个文件的块数量、块的位置、机架信息 3)例子 $ hadoop fsck /$ hadoop fsck / -files$ hadoop fsck / -...
2012-07-03 15:27:21
240
原创 Hadoop Ganglia Metric Item
dfs.FSDirectory.files_deleted dfs.FSNamesystem.BlockCapacity dfs.FSNameSystem.BlocksTotal dfs.FSNamesystem.CapacityRemainingGB dfs.FSNamesystem.CapacityTotalGB dfs.FSnamesystem....
2012-06-27 11:13:25
96
原创 Hadoop 参数
转发自：http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.htmlhadoop集群默认配置和常用配置获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些...
2012-06-27 10:05:12
93
原创 HDFS-序列化
序列化 序列化是把结构化的对像转为字节流，以便网络传输或存储到磁盘设备上。反序列化是一个相反的过程，即把字节流转变为一系列的结构化对象。 RPC序列化建议的特性1.紧凑(Compact)即方便网络传输,充分利用存储空间2.快速（Fast)即序列化及反序列化性能要好3.扩展性(Extensible)即协议有变化，可以支持新的需求4.互操作性（Interoperable...
2012-06-25 14:41:32
215
原创 Clojure 支持Java
调用Java类 调用Constructor、Method、Field(new classname) (new java.util.Random) java.util.Random@4f1ada (def rnd (new java.util.Random)) #'user/rnd (. class-or-instance member-sy...
2012-06-25 12:59:31
72
原创 Clojure 集合
数据结构 List、Vect、Map、Set List （list 1 2 3) = (quote (1 2 3)) = '(1 2 3) 如果是symbol而不是数字或者字符串等，必须用' '(a b c d) (quote (a b c d)) (list a b c); CompilerException java.lang.Runtim...
2012-06-15 13:24:13
111
原创 Flume NG 架构
介绍 Apache的Flume是一个分布式的，质量可靠，可有效地收集，汇总和来自许多不同来源的大量日志数据到集中的数据存储系统。目前，Flume是在Apache项目孵化。 架构 数据流模型 Flume事件被定义为一个数据流的单位,有一个字节的有效载荷和一个可选字符串属性。Flume Agent是一个（JVM进程，连接数据源及数据源的下一...
2012-06-14 22:44:35
86
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人