关闭

[置顶] 软件架构师应该知道的 97 件事

软件架构师应该知道的 97 件事         1.客户需求重于个人简历(Nitin Borwankar)         客户需求至上。为了自己的简历更炫而采用新技术是沽名钓誉,往往事与愿违。         2.简化根本复杂性,消除偶发复杂性(Neal Ford)         分析问题好比拨云见月、水落石出。         3.关键问题可能不是出在技术上(Mark R...
阅读(768) 评论(2)

[置顶] 持之以恒,贵在坚持

不积跬步,无以至千里,不积小流,无以成江海,程序人生需要坚持不懈的积累:...
阅读(1786) 评论(3)

Storm之——单机环境部署

从这篇博文开始,我们就进入Storm阶段的入门学习,最近,有些小伙伴发来私信说,博文写的太快,有些跟不上了,但是我还是希望大家能够跟上鄙人的速度,我们先把Hadoop生态的各项技术过一遍,把基础的知识串联一下,然后再带着大家深入分析每一项技术的实现细节,到那时,我会带着大家深究每一项技术的实现细节。 一、安装Zookeeper 1、下载Zookeeper Storm的运行依赖于Zooke...
阅读(17) 评论(0)

HBase之——通过Java API与HBase交互

不多说,直接上代码,大家自己看代码分析: import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; imp...
阅读(9) 评论(0)

HBase之——Shell基础操作

今天,接着上一篇博文继续,那么,接下来就给大家带来一篇HBase Shell基础操作的总结,不多说,直接列出HBase Shell基础操作的总结如下: 进入hbase命令行 ./hbase shell 显示hbase中的表 list 创建user表,包含info、data两个列族 create 'user', 'info', 'data' create 'user', {NAME => 'i...
阅读(62) 评论(0)

HBase之——单节点安装

这边博文就带着大家一起学习如何安装HBase,首先,我们来学习如何在单节点上安装HBase,后续会带着大家一起学习如何搭建HBase集群。 一、配置服务器主机名和IP映射 1、配置主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=liuyazhuang121 NTPSERVERARGS=iburst 2、配置主机名映射 vim...
阅读(57) 评论(0)

Hive之——自定义函数

今天,就带着大家一起学习如何在Hive中自定义函数,得到自己想要的结果。好了,废话不多说,直接开始。 一、自定义函数流程 要想在Hive中完成自定义函数的操作,要按照如下的流程进行操作: 定义Java类并实现org.apache.hadoop.hive.ql.exec.UDF——>覆写evaluate——>将Java工程上传到Hive所在服务器(我这里是CentOS 6.5)——>启动H...
阅读(200) 评论(0)

Hive之——Join操作

两个字段,第一个字段是学生名字,第二个是所选课程的ID号,表名叫stu name courseId zs1,1 zs2,2 zs3,3 zs4,4 create table stu(name string, id int) row format delimited fields terminated by ','; load data local inpath '/home/zkpk/te...
阅读(175) 评论(0)

Hive之——整合MySQL存储元数据信息及基本操作示例

一、概述 Hive在实际工作过程中,需要一个统一的存储媒介来存储元数据信息,这个存储媒介通常可以是MySQL数据,那么如何将Hive的元数据信息存储到MySQL中呢,今天,就带着大家一起学习大数据入门系列的Hive篇——整合MySQL存储元数据信息。 二、环境整合 1、安装MySQL数据库 大家可以参考博文《MySQL之——CentOS6.5 编译安装MySQL5.6.16》或者《MySQ...
阅读(69) 评论(0)

Hive之——操作语句整理

#创建表人信息表  person(String name,int age) hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE; OK Time taken: 0.541 second...
阅读(52) 评论(0)

Nginx之——Nginx作为TCP负载均衡

这两天考虑mysql的集群,考虑负载均衡,了解nginx在版本1.9.0以后支持tcp的负载均衡,具体可以参照官网关于模块ngx_stream_core_module的叙述 nginx从1.9.0后引入模块ngx_stream_core_module,模块是没有编译的,需要用到编译需添加--with-stream配置参数,stream负载均衡官方配置样例 worker_processes au...
阅读(130) 评论(0)

Mycat之——多Schema配置

对于Mycat的多Schema配置,有些同学还不是很熟悉,那么这里就直接贴出一个配置文件供大家参考 select user() select 1 from dual alter session set nls_date_format='yyyy-mm-dd hh2...
阅读(79) 评论(0)

CentOS之——CentOS 6.5 安装RTL8111/8168B PCI EXPRESS网卡并解决安装出现的问题

一、查找并分析问题 最近,内网服务器更换了主板,总是会出现下面这样的问题:过段时间服务器就会莫名奇妙的连不上了,排除是内部网络的问题,网上有些文章说是:声卡、网卡、Hyper-Threading(超线程)技术的问题,在BIOS中将其关闭即可。但是,我尝试了还是不行,关键是网卡不能关闭呀,关闭了网卡还怎么联网啊。真的有点蛋疼。 经过大半天的折腾,突然想起了一个问题:不是更换了主板吗?会不会是...
阅读(123) 评论(0)

CentOS之——make: *** /lib/modules/2.6.32-431.el6.x86_64/build/: No such file or directory. Stop.

CentOS 6.5上编译r8168-8.037.00网卡驱动的时候报以下错误: make: *** /lib/modules/2.6.32-431.el6.x86_64/build/: No such file or directory. Stop. 这个问题应该是系统没有安装内核开发包,可以看下/usr/src/kernels/, 如果这个目录是空的,就说明没有安装 内核开发包 安装内...
阅读(330) 评论(0)

Hadoop之——Hadoop 2.6.3动态增加/删除DataNode节点

假设集群操作系统均为:CentOS 6.7 x64 Hadoop版本为:2.6.3 一、动态增加DataNode 1、准备新的DataNode节点机器,配置SSH互信,可以直接复制已有DataNode中.ssh目录中的authorized_keys和id_rsa 2、复制Hadoop运行目录、hdfs目录及tmp目录至新的DataNode 3、在新DataNode上启动hadoop...
阅读(55) 评论(0)

CentOS之——Centos6.5更新e1000网卡驱动

在工作过程中经常遇到linux的操作系统网络不正常的情况,以前没有注意到,今天查看系统日志发现原来是网络驱动的问题。索性直接更新系统,更新网卡 一、问题:linux系统经常出现断网的情况,重启之后系统恢复正常 在断网时候通过ipmi查看系统,发现系统正常运行,只是不能连接网络。进入系统日志找来找去,发现如下报错信息: May 28 13:55:00 localhost kernel:...
阅读(153) 评论(0)

CentOS之——生产环境下Centos 6.5优化配置

本文 centos 6.5 优化 的项有18处: 1、centos6.5最小化安装后启动网卡 2、ifconfig查询IP进行SSH链接 3、更新系统源并且升级系统 4、系统时间更新和设定定时任 5、修改ip地址、网关、主机名、DNS 6、关闭selinux,清空iptables 7、创建普通用户并进行sudo授权管理 8、修改SSH端口号和屏蔽root账号远程登陆 9、锁定关键...
阅读(309) 评论(0)

CentOS之——Bringing up interface eth0: Determining if ip address 192.168.1.81 is already in use for de

重启网卡出现提示: Bringing up interface eth0: Determining if ip address 192.168.1.81 is already in use for device eth0... [ OK ] Bringing up inte...
阅读(103) 评论(0)

CentOS之——解决SSH自动断开办法

echo "ClientAliveInterval 60" >> /etc/ssh/sshd_config echo "ClientAliveCountMax 1" >> /etc/ssh/sshd_config重启SSH服务 service sshd restart然后退出,重装进入就不会断开了....
阅读(270) 评论(0)

Hadoop之——基于MR程序实现倒排索引

相信接触过搜索引擎开发的同学对倒排索引并不陌生,谷歌、百度等搜索引擎都是用的倒排索引,关于倒排索引的有关知识,这里就不再深入讲解,有兴趣的同学到网上了解一下。这篇博文就带着大家一起学习下如何利用Hadoop的MR程序来实现倒排索引的功能。 一、数据准备 1、输入文件数据 这里我们准备三个输入文件,分别如下所示 a.txt hello tom hello jerry hello tom...
阅读(61) 评论(0)

Hadoop之——WorldCount统计实例

最近,有很多想做大数据的同学发来私信,想请我这位在大数据领域跌打滚爬了多年的老鸟写一些大数据分析的文章,好作为这些同学学习大数据分析从入门到上手再到精通的参考教程,作为一个大数据分析领域的老鸟,很高兴自己在业界得到了很多同行的认可,同时,自己也想将多年来做大数据分析的一些经验和心得分享给大家。那么,今天,就给大家带来一篇Hadoop的入门经典——WordCount统计实例。 一、准备工作 1、...
阅读(106) 评论(2)

Java之——基于Luhn算法的银行卡卡号的格式校验

一、检验规则 Luhn算法被用于最后一位为校验码的一串数字的校验,通过如下规则计算校验码的正确性:     按照从右往左的顺序,从这串数字的右边开始,包含校验码,将偶数位数字乘以2,如果每次乘二操作的结果大于9(如 8 × 2 = 16),然后计算个位和十位数字的和(如 1 + 6 = 7)或者用这个结果减去9(如 16 - 9 = 7);    第一步操作过后会得到新的一串数字,...
阅读(50) 评论(0)
727条 共37页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:1521959次
    • 积分:21662
    • 等级:
    • 排名:第366名
    • 原创:723篇
    • 转载:4篇
    • 译文:0篇
    • 评论:259条
    博客专栏
    Dubbo

    文章:20篇

    阅读:24593
    JMS

    文章:13篇

    阅读:7261
    Netty

    文章:1篇

    阅读:1045
    Redis

    文章:18篇

    阅读:69206
    Memcached

    文章:9篇

    阅读:33594
    设计模式

    文章:22篇

    阅读:39685
    Mycat

    文章:18篇

    阅读:15407
    Web前端

    文章:22篇

    阅读:66137
    Linux

    文章:76篇

    阅读:166812
    JVM

    文章:15篇

    阅读:41526
    J2EE

    文章:72篇

    阅读:215927
    Java

    文章:151篇

    阅读:373322
    Hadoop生态

    文章:93篇

    阅读:145509
    MySQL

    文章:128篇

    阅读:190070
    最新评论