- 博客(64)
- 收藏
- 关注
RSS订阅原创 yum 包管理工具命令使用初步
前言： 程序包命名规则 less.x86_64 其中： Name : less Arch : x86_64 Version : 458 Release : 9.el7 一 基本使用 1）查看指定程序 yum list [package_n...
2016-05-10 10:17:41
148
原创 MySQL 5.7.12 源码编译安装
编写不易，转正请注明: http://shihlei.iteye.com/blog/2296886环境准备： mysql 安装包：mysql-boost-5.7.12.tar.gz 系统版本：CentOS Linux release 7.2.1511 (Core) 一 清理环境 yum list installed *mysq...
2016-05-09 17:03:43
253
原创 TCP连接状态转换及网络情况查看
最近服务器运维，监控到大量的LAST_ACK状态的连接，学习了下TCP连接状态的情况及查看连接状态，网卡数据包统计查看 一 网络客户端服务器交互过程 二 TCP客户端服务器建立连接时的状态转换 三 TCP客户端服务器关闭连接时的状态转换 四 netstat 查看连接状态1）查看TCP连接状态 命令：netstat -ant ...
2016-04-15 15:49:07
525
原创 编程应该知道的操作延迟时间
记录系统等相关操作的时间，供在算法设计和架构设计中的时间延迟参考。 数据摘自《性能之巅——洞悉系统、企业与云计算》《大型网站架构技术—核心原理与案例分析》 注：在未提供机器配置的情况下，时间数据仅供比例参考，比较两个操作的轻重程度。 最新数据可参考：http://www.eecs.berkeley.edu/~rcs/research/interactiv...
2016-02-15 10:15:43
897
原创 dig 域名查询工具命令[DNS]
一 命令输出解释：dig www.baidu.com # dig www.baidu.com ; <<>> DiG 9.8.2rc1-RedHat-9.8.2-0.37.rc1.el6_7.4 <<>> www.baidu.com;; global options: +cmd #以上部分由 +[no]cmd 选项...
2016-01-05 14:36:33
596
EGit Share Project 和 Push GitHub
编写不易，转载请注明（http://shihlei.iteye.com/blog/2265159） 使用Eclipse 创建项目，Share 到 Git 仓库，并推送到GitHub 中 EGit 基本使用可参见《EGit（Git Eclipse Plugin）使用》Eclipse：Luna Service Release 2 (4.4.2)EGit：Eclips...
2015-12-19 11:49:52
213
原创 Hadoop Reduce Join及基于MRV2 API 重写
编写不易，转载请注明（http://shihlei.iteye.com/blog/2263757）！ 最近项目，需要对两个文件进行连接查询，从文件2中提取在文件1中选线id的记录。主要问题：两个文件都很大【 文件1：1亿记录 ； 文件2：8亿记录 】 方案：方案1：Map启动将文件1表示读取bloomfilter，map处理文件2，发现存在即...
2015-12-13 19:00:44
183
原创 Java 内存模型，内存监控，GC查看
编写不易，转载请注明（ http://shihlei.iteye.com/blog/2244799）！ （一）Java 内存模型 摘自网上的内存模型图： 1）堆（heap——线程共享）：实例域，静态域，数组元素。 （1）新生代（young generation）: 新创建对象的存放区域 a）伊甸区（eden）： ...
2015-09-20 10:56:59
516
原创 EGit（Git Eclipse Plugin）使用
编写不易，转载请注明（http://shihlei.iteye.com/blog/2124411）最近跳槽，新公司使用Git，快速学习了下，开发主要用EGit插件，总结下。前言：1）Git于SVN的不同 Git是分布式数据库，本地创建仓库，即可在本地完成版本控制（等价于SVN在本地安装服务器和客户端，SVN服务器如果在远程，断网情况将无法完成提交及版本维护）...
2014-10-02 19:06:47
535
原创 Maven常用命令、配置、POM、仓库
（一）常用命令1）Maven 导出依赖lib 并打包mvn clean dependency:copy-dependencies -DoutputDirectory=target/classes/lib -DincludeScope=runtime package 2）忽略测试错误mvn test -Dmaven.test.failure.ignore=true ...
2014-07-18 15:48:20
369
原创 Hive-0.12.0-cdh5.0.1 安装[metasore 内嵌模式、本地模式、远程模式]
概述： 基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计.组成：（1）用户接口：主要是cli ， beeline ， hiveserver2 client（thrift客户端）；用于接受用户任务。（2）元数据存储：表结构和元数据存储于关系型数据库中，客户端通过访问metastore 服务...
2014-07-09 18:17:49
350
原创 Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建（NameNode,ResourceManager HA）
编写不易，转载请注明（http://shihlei.iteye.com/blog/2084711）！说明 本文搭建Hadoop CDH5.0.1 分布式系统，包括NameNode ，ResourceManger HA，忽略了Web Application Proxy 和Job HistoryServer。 word版：见附件吧！一概述（一）HDF...
2014-06-25 12:04:27
411
原创 Zookeeper-3.4.5-cdh5.0.1 单机模式、副本模式安装、配置说明
编写不易，转载请注明（http://shihlei.iteye.com/blog/2083614）！一概述 它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 版本：zookeeper-3.4.5-c...
2014-06-23 12:16:19
342
原创 Linux 配置启动方式，机器名，网络
一 配置机器启动方式 命令：vi /etc/inittab[root@localhost puppet]# vi /etc/inittab # inittab is only used by upstart for the default runlevel. # # ADDING OTHER CONFIGURATION HERE WILL HAVE NO EFFECT O...
2014-06-23 10:43:10
150
原创 Hadoop-2.3.0-cdh5.0.1单机搭建、伪分布式搭建、本地目录配置
编写不易，转载请注明（http://shihlei.iteye.com/blog/2082625）！一安装概述Hadoop 安装的三种模式： 1）单机模式（standalone） 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时...
2014-06-19 17:11:38
210
原创 HBase-0.96.1.1-cdh5.0.1 单机、伪分布式、完全分布式
编写不易，转载请注明（http://shihlei.iteye.com/blog/2081676）！概述 搭建hbase-0.96.1.1-cdh5.0.1 单机环境，伪分布式，完全分布式 一单机模式安装 在单机模式中，HBase使用本地文件系统，而不是HDFS ，所有的服务和zooKeeper都运作在一个JVM中。zookeep监听一个端...
2014-06-17 16:17:54
221
原创 Zookeeper功能及应用场景
编写不易，转载请注明（http://shihlei.iteye.com/blog/2075801）！一概述 Zookeeper是针对大型分布式系统的可靠协调系统。 核心服务总结如下：可靠的协调系统：用于存储客户端集群相互协作的信息。（Zookeeper核心机制会保证数据在所有的Zookeeper数据结点的一致性，客户并发修改任何Zookeeper结点...
2014-06-04 12:07:31
229
原创 Selenium2.41.0—获取动态资源
编写不易，转载请注明（http://shihlei.iteye.com/blog/2067716）！一概述 获取动态资源，可以使用HtmlUnit，但是其对JS的支持还是不够完善。相对与HtmlUnit还有一种驱动浏览器的下载还原工具Selenium。可以打开浏览器，获取网页，下载解析，支持dom，js，解析效果更好，但是打开浏览器速度方面有一定损失。个人实验，禁用CSS，图片下...
2014-05-17 21:18:08
178
原创 HtmlUnit2.14使用样例—获取动态网页
编写不易，转载请注明（http://shihlei.iteye.com/blog/2067707）！一 概述 HttpClient适合处理静态资源，网络爬虫等类似应用很大程度需要处理动态网页（内容有js填充，如百度图片，body里基本没有数据，碰到最麻烦的是新浪微博列表页）。将网页下载后，结合JS和Dom模型还原网页，我目前还未攻破，但在下载层还原网页，HtmlUnit是一...
2014-05-17 19:40:38
848
原创 HttpClient4.3.3 使用样例—获取静态资源
编写不易，转载请注明（http://shihlei.iteye.com/blog/2067688）！一 概述 HttpClient是最常见的Http请求工具，很好的封装 Http请求，响应，Cookies操作，适合网络爬虫处理静态页面及其他资源。 HttpCient能自动处理302客户端重定向，这个很喜欢！ HttpClient4.3.3 API较之前的...
2014-05-17 17:49:24
515
原创 CDH4.4-MRV1 HA 安装手册
编写不易，转载请注明（http://shihlei.iteye.com/blog/2066627）！一 概述 公司使用CDH4的环境，Job运行时环境选择的是MRV1，网络上搭建CDH4.4 HDFS ，MRV1 HA环境的资料非常少。尝试搭建，并将过程记录于《Hadoop_CDH4.4.0_MRV1_CDH4.2.2_安装手册_v0.2》； 二 规划 ...
2014-05-15 09:58:50
152
原创 Java 枚举
注：文章内容大量借鉴使用网上的资料，可惜没有记录参考地址，只能再传对作者说声抱歉并表示感谢！ 一 基础1）语法 枚举类型只能有私有构造器（这样做可以保证客户代码没有办法新建一个enum的实例） 枚举实例必须最先定义2）特性 所有枚举实例都是public , static , final 实例存在顺序，定义从上倒下，顺...
2014-05-12 09:59:14
120
原创 ssh 配置及使用（ssh-keygen，ssh-copy-id，known_hosts）
一 核心命令创建密钥对：ssh-keygen转发密钥：ssh-copy-id -i ~/.ssh/id_rsa.pub puppet@Hadoop-NN-02 常用密钥类型：ssh-keygen -t dsa ssh-keygen -t rsa ssh-keygen -t rsa1二 原理（一）基础 1） 公钥：用于加密，存在于...
2014-05-10 17:14:51
2642
原创 Java 线程（Thread类）
使用线程技术多半是为了并发处理效果，单核通过CPU调度模拟多任务。 一 基础 实现1 ：继承java.lang.Thread类，重写run()方法实现线程任务。 public class SimpleThread extends Thread{ @Override public void run() { //线程任务 for (int i = 0; ...
2012-01-31 10:00:06
177
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人