Harper

Harper的大数据漫谈前言Harper的大数据漫谈历史文章数据采集埋点数据采集与业务处理数据采集系统的设计附录OLTP与OLAP前言这是漫谈系列的第二篇文章了, 这几天看了一些网上其他人写的关于大数据的文章, 感觉要不就是在分析大数据的产业和应用, 要不就是在具体的讲某种技术或者分析某个问题, 动辄就是大数据4v和Hadoop. 这些文章可能写的很好, 讲了很多概念, 我在当初入门的时候也看过一些, 但我个人认为对我的帮助比较有限. 因为这些文章要不就过于理论, 要不就过于具体. 因此我希望自己写的

Harper的大数据漫谈前言: 关于Harper的大数据漫谈概述: 什么是大数据前言: 关于Harper的大数据漫谈回顾一下, 自2013年毕业至今已经8年了, 其中前三年在中国联通做通信, 之后五年转战互联网公司从事大数据行业. 很喜欢这个方向, 也积累了一些心得. 最近在帮组内的实习生入门, 正好把自己的思考记录下来, 或许能帮助更多的人, 于是重新捡起了技术博客, 发挥自己意识流写作的特点, 利用工作之余的碎片时间想到哪写到哪, 哈哈????由于写的都是个人的理解, 所以难免有错误, 希望大家指

Hive 自0.14.0开始，加入了一项”Cost based Optimizer”来对HQL执行计划进行优化，这个功能通过”hive.cbo.enable”来开启。在Hive 1.1.0之后，这个feature是默认开启的,它可以自动优化HQL中多个JOIN的顺序，并选择合适的JOIN算法 Join reordering and join algorithm selection are

在写SQL的时候，如果group by的column 比较复杂，有的数据库中可以写成 group by position的形式，如:SELECT CASE WHEN a.f1=1 THEN 'a' WHEN a.f1=2 THEN 'b' ELSE c END AS col1, sum(a.f2) AS col2FROM aGROUP BY 1;Hive中可以通过设置...

Avro与Protobuf性能对比

以下以 Dbeaver 为例，其他数据库连接工具，如 Dbvisualizer 、 PlSQL 等也可以用类似的方法连接，只要新建 DriverManager 并将 Impala的JDBC Jar包加载进来就可以这个方法也可以应用于其他支持JDBC连接的数据库，如Hive等下载Impala JDBC Connector并解压其中需要用的Cloudera_ImpalaJDBCxx_x.x.x.x.z

以3.0.2和2.5.0为例，讲一下本机安装多个版本的protoc的方法

最近开始看Hadoop源码，本来想对照着《Hadoop技术内幕》看的，但是发现那本书对应的Hadoop版本太老了，还是基于1.x的，构建工具用的Ant，所以没有完全对照书看。目前Hadoop最新的stable版本为2.8.0-RC1，本文以及之后的Hadoop源码相关的博文都以这个版本为基础。另外写的可能会糙一些。

运维帮忙新装了几台机器，默认的配置下登录的时候还有执行locale命令都会报错:locale: Cannot set LC_CTYPE to default locale: No such file or directorylocale: Cannot set LC_ALL to default locale: No such file or directory解决办法是修改文件/etc/loc

Druid 评测最近组里申请了三台机器对Druid进行测试，这里记录一下过程，并对Druid的表现做一下评测环境三台机器 - 磁盘：SATA盘 4T - CPU：24核 - 内存：128G - 系统：Red Hat Enterprise Linux 7.3 - Zookeeper、HDFS、MySQL都用的已有的环境三台机器名称用 t214、t218、t219代替.

以下： NN : NameNode SNN : SecondaryNameNode JN : JournalNode ZKFC : ZKFailoverController Hadoop 2.0之前，集群中只能有一个NN节点，这带来了两个问题： 1:单点故障(虽然可以用SNN来恢复，但是数据量大的情况下恢复过程缓慢) 2:集群维护、软件版本升级困难 Hadoop 2

最近在用破机器跑mapreduce任务，部署的是社区版hadoop，参数都要手动调整。虽然hadoop已经火了很久了，但是网上关于参数的介绍基本都处于’语焉不详’的状态，大部分还都是无责任转载，哪个版本都有。这个帖子记录一下最近调参数对mapreduce任务的影响，结合hadoop官方文档，尽量对涉及到的参数有比较正确详细的解释。 这篇文章随着研究的深入些，随时更新Hadoop参数hadoop-e

mark一下 aptitude这个包可以自动解决要安装的包所依赖的包版本过高的问题，给出几个解决方案并自动完成

终于拿到了3台性能还不错的服务器，可以尝试搭建一下Cloudera的hadoop平台CDH了。在此mark一下，记录安装细节。Step.1 安装pdsh(可选) pdsh的作用是在多台机器上同时执行shell命令。步骤参考之前的blog： http://blog.csdn.net/strangerzz/article/details/49864089 这步不做也可以，不过有了pd

准备装cloudera，起个mysql当作外置关系行数据库用，顺便学习下mysql的安装和使用。 1、安装 首先在oracle网站上下载了mysql的安装包，mysql-community-server依赖client、common等几个包，所以就直接下载了bundle版，由于之前自己建了个http的yum源，所以为了省事把下载的bundle包解压后用createrepo做了个yum源直接挂在了

ssh免密码登录。本来觉得很简单的一个小操作，其实里面还有些有意思的小工具以及配置方法，所以单列一章出来。1、生成密钥对 首先用ssh-keygen这个命令生成一个公开-私有密钥对：ssh-kengen -P "" -t rsa其中-P “”的意思是不用输入密码。这里不加这个参数，也可以随后根据提示进行设置。命令输入完之后，根据提示就可以创建秘钥文件对了，很简单。生成的结果是(比如我这里把文件名

由于最近开始玩集群，所以不能总用之前的土办法来管理集群了，了解了一下pdsh这个小工具。在这里把过程和问题mark一下，以后如果入到新的问题，就统一在这篇blog里面更新了。1：安装 首先去sourceforges上面下载了sourceforge的源码，我找到的版本是2.2.6，http://sourceforge.net/projects/pdsh/，解压后进入解压的目标目录，运行./c

之前用ubuntu的时候，apt-get install 后面按tab可以把包名自动补全并给出可用的包的提示。新机器装了centos7标准版的也有这个功能，不过装了centos7 minimal的却没这个功能，yum install按tab后提示的是本地文件的列表。后来上网找了一下，原来这个是因为centos7 minimal没有安装bash-completion这个包导致的。安装一下：yum in