大数据技术杂谈

原创 Eclipse打包过程

原创 Eclipse调整字体

转载 如何在CentOS6.5下编译64位的Hadoop2.x？

1安装gcc，执行如下的几个yum命令即可Java代码yum -y install gccyum -y install gcc-c++yum install makeyum install autoconf automake libtool cmake ncurses-devel

转载 据挖掘中的十大经典算法

以下就是从参加评选的18种候选算法中，最终决选出来的十大经典算法：一、C4.5C4.5，是机器学习算法中的一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。C4.5相比于ID3改进的地

原创 Linux启动Tomcat服务

昨天机器重启之后发现系统页面无法启动，发现原因是tomcat无法启动，之后进入tomcat的安装目录使用bin/startup.sh启动tomcat，随后发现页面还是无法访问。后来发现是没有启动MySQL解决方案：启动MySQL/etc/rc.d/init.d/service mysqld start 注意以root用户启动，否则会出现如下错误：ERROR 2002 (HY000)

转载 新浪是如何分析处理32亿条实时日志的？

随着实时分析技术的发展及成本的降低，用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博、微盘、云存储、弹性计算平台等十多个部门的多个产品的日志搜索分析业务，每天处理约32亿条（2TB）日志。技术架构简单介绍一下服务的技术架构：这是一个再常见不过的架构了：（1）Kafka：接收用户日志的消息队列。（2）Logstash：做日志解析，统一成JS

转载 SQL 时间格式化函数

1 取值后格式化 {0:d}小型：如2005-5-6 {0:D}大型：如2005年5月6日 {0:f}完整型 2 当前时间获取 DateTime.Now.ToShortDateString 3 取值中格式化 SQL Server里面可能经常会用到的日期格式转换方法: sql server使用convert来取得datetime日期数据，以下实例包含各种日期格

原创 SQL server 2005将远程数据库导入到本地的方法

1、将SQL2005打开。方法是：“开始“→“程序”→“Microsoft SQL Server 2005”→“SQL Server Management Studio”，这样，就可以把本地的SQL2005打开了。2、　如下图一样，找到“系统数据库”，在任何一个数据库上面比如model上面点击右键，选择“任务”→“导入数据”。3、接着，会弹出对话框，点击“下一步”，来到如下图的对话框。

原创 Hadoop集群节点扩展

近期因为Hadoop集群的三个节点磁盘存储空间不足，经常导致集群服务出现停止运行，因此对三个节点的集群做了一次节点扩展，将原有的三个节点扩展为8个节点，以下是操作过程：1、以root用户身份登录新增加的5个物理服务器，修改/etc/sysconfig/network文件，将主机名分别修改为datanode03 datanode04 datanode05 datanode06 datanode0

原创 Hadoop集群节点扩展之后，更改HDFS数据副本数

问题：本人近期将Hadoop集群节点从3个扩展为8个之后扩展之后，更改HDFS数据副本数，之后HBase操作非常缓慢，查看日志信息一直有数据在移动。解决方案：由于数据副本数增加，在扩展完节点之后，在Hadoop主节点执行如下命令sbin/start-balancer.sh使各个节点数据负载均衡之后各数据节点数据一直在移动并复制增加数据副本数据，因此导致集群运行缓慢，因此建议此操作在非工

原创 HBase启动过后几个小时后挂掉

HBase启动过后几个小时后有些节点挂掉查看HBase日志信息如下：2015-07-08 17:23:05,604 ERROR [RS_OPEN_REGION-datanode07:60020-1] handler.OpenRegionHandler: Failed open of region=grid_observe_1x1,+072.270_+028.110_0000_2015061

原创 SQOOP连接SQLServer2005错误

连接代码：bin/sqoop import --connect'jdbc:sqlserver://192.168.15.151;username=sa;psaaword=;database=20150518' --table Fact_Visit_KYMain --target-dir /data -m 1错误：Error: java.lang.RuntimeException: ja

转载 Java JDBC连接SQL Server2005错误：通过端口 1433 连接到主机 localhost 的 TCP/IP 连接失败

错误原因如下：Exception in thread "main" org.hibernate.exception.JDBCConnectionException: Cannot open connectionat org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:99)at org.h

转载 Maven错误信息：Missing artifact jdk.tools:jdk.tools:jar:1.6

最近一直研究Hadoop的搭建、配置、管理层面的内容，越来越发现，如果缺乏应用开发以及源码阅读能力，在Hadoop的研究上很难更深一步（其实其他方面同样如此），在Jerry帮助下搭建了Eclipse+Maven进行Hadoop应用开发的环境，在pom.xml文件中指定依赖名称，就能方便地下载依赖包、查看源代码，Great！在Maven的使用中，出现如下错误信息Maven Dependenc