排序:
默认
按更新时间
按访问量

shell 读mysql内数据

SQL="select id,val from test1 order by id desc limit 1" RESULT=$(mysql -uroot -proot@123 test -e "${SQL}" | awk 'NR > 1' ) r...

2017-06-27 11:03:19

阅读数:264

评论数:0

查询linux大于200M的文件

find / -size +200M -exec du -h {} \;

2016-12-13 16:11:23

阅读数:1141

评论数:0

spark Intellij IDEA及eclipse开发环境搭建

Apache Spark探秘:利用Intellij IDEA构建开发环境 http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/ 利用Eclipse构建Spark集成开发环境 http://...

2016-10-20 10:11:53

阅读数:565

评论数:0

httpClient 处理SSL问题

public CloseableHttpClient createSSLClientDefault() { try { SSLContext sslContext = new SSLContextBuilder().loadTrustMaterial(null, new TrustStrate...

2016-08-19 16:09:27

阅读数:2570

评论数:0

CentOS搭建本地光盘YUM源

两台主机,第一台演示光盘YUM与YUM服务器的搭建;第二台用作后面YUM测试。 操作系统:Centos 6.5 主机名:yum.server IP地址:172.20.1.11 操作系统:Centos 6.5 主机名:test1 IP地址:172.20.1.10 1...

2016-05-29 23:32:10

阅读数:331

评论数:0

Log4j每天、每小时、每分钟定时生成日志文件

转自:http://blog.csdn.net/vtopqx/article/details/8432862  在做项目中基本上都用到了日志log,那么自然就会遇到问题,比方说,日志太大了怎么办?日志很乱怎么办? 这时我们就会想到如果能够把日志分为定时的生成即:Log4j每天、每小时、每...

2016-03-18 00:33:41

阅读数:1498

评论数:0

网卡故障:弹出界面eth0: 错误:没有找到合适的设备:没有找到可用于链接System eth0 的

今天在使用putty连接linux6.0系统远程的时候,重启网卡的时候发现此报错: 报错截图如下: 排错步骤如下: 1:查看系统是否识别相应网卡(发现没有eth0网卡存在): 根据显示信息我们可以初步判定系统网卡信息有问题: 2:查看当前MAC地址相关信息: 发现多出一块e...

2016-01-09 01:45:37

阅读数:1629

评论数:0

redhat下网络的配置

redhat下配置网络主要有两种方式:敲setup命令图形界面配置和通过修改网络配置文件的方式。 前者的本质也是修改配置文件。 下面重点介绍修改网络配置文件的方式。 一、IP的配置: 第一(二)块网卡的配置文件:/etc/sysconfig/network-sc...

2016-01-09 01:09:37

阅读数:391

评论数:0

linux系统重启网络delaying initialization错误的解决方法

在我们重启网卡时如果报错如下:          device "eth0" does not seem to be present, delaying initialization 说明         错误是由于找不到eth0网络设备导致,在我...

2015-12-09 21:51:13

阅读数:1623

评论数:0

DB2中导出数据库的所有DDL脚本

我们用db2look命令得到数据库对象的DDL 脚本  DB2的db2look命令诠释如下: db2look 版本 8.2 db2look:生成 DDL 以便重新创建在数据库中定义的对象 语法: db2look -d DBname [-e] [-u Creator] [-z Schema]...

2015-12-01 14:43:12

阅读数:3195

评论数:0

linux虚拟机网卡启动失败问题处理

1  通过ifconfig查询虚拟机的ip地址没有了 2 重启网卡报以下错误 connecton activation failed:Device not managed by NetwordManager or unavailable 3 查看NetworkManager服务是否启动 ...

2015-11-22 10:49:54

阅读数:2152

评论数:0

CDH 的Cloudera Manager免费与收费版的对比表

CDH 特性 免费版 付费版 Deployment, Configuration & Management 系统管理 Automated Deployment & Hadoop Readiness Checks 自动化部署及快速检...

2015-11-08 18:06:15

阅读数:3604

评论数:0

linux按内容查找文件

1,在某个路径下查文件。      在/etc下查找“*.log”的文件      find /etc -name "*.log" 2,扩展,列出某个路径下所有文件,包括子目录。      find /etc -name "*" ...

2015-10-30 00:26:34

阅读数:976

评论数:0

linux端口监听命令

while((1)); do netstat -an| grep 端口;date;sleep 1;done

2015-10-26 10:39:26

阅读数:1370

评论数:0

2015大连落户新政详解

落户政策一直是在大连生活工作的外埠人员最关心的话题,今天小编就把最新的大连落户政策整理一下,大家看完就可以找到最适合自己最可行的落户途径!    首先我们明确一下大连行政区域的划分:    大连市行政区域划分为3个户籍管理区,即主城区、新市区、新区。    主城区包括...

2015-10-12 12:11:04

阅读数:1159

评论数:0

JVM启动的时候,默认加入的属性

public static void main(String[] args){     System.out.println("Java运行时环境版本:\n"+System.getProperty("java.version"));     Sy...

2015-10-09 10:13:46

阅读数:796

评论数:0

CentOS Linux解决Device eth0 does not seem to be present及设置固定ip

使用vmware克隆出的虚拟机,在重启网卡( service network restart)的时候出现报错:"Bring up interface eth0:Device eth0 does not seem to be present,delaying initialization...

2015-10-07 14:59:03

阅读数:401

评论数:0

修改map分片个数

方式一: TextInputFormat.setMaxInputSplitsize(job,1024*1024*10); TextInputFormat.setMinInputSplitsize(job,1024*1024*50); 方式二: 在configration内设置以...

2015-09-08 15:09:52

阅读数:720

评论数:0

zookeeper 伪分布式安装

1 下载zookeeper安装包    下载地址 http://apache.fayea.com/zookeeper/     我下载的是zookeeper-3.4.6.tar.gz 2 解压缩   将zookeeper-3.4.6.tar.gz拷贝到/usr/local目录下   执行命令 ...

2015-07-15 01:16:07

阅读数:1131

评论数:0

海量Web日志分析 用Hadoop提取KPI统计指标

海量Web日志分析 用Hadoop提取KPI统计指标 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,...

2015-07-07 00:18:34

阅读数:729

评论数:0

redis 工具类

Java代码   import java.util.Map;      import org.apache.log4j.Logger;      import redis.clients.jedis.Jedis;      import com.chanjet.gov.s...

2015-06-27 14:21:22

阅读数:3530

评论数:1

HBase表重命名

hbase shell> disable 'oldTableName' hbase shell> snapshot 'oldTableName', 'tableSnapshot' hbase shell> clone_snapshot 'tableSnapshot', 'newT...

2015-06-22 23:53:51

阅读数:1514

评论数:0

Apache HBase快照介绍

转自 http://www.importnew.com/4966.html CDH是Cloudera的完全开源分布式Apache Hadoop及相关项目(包括Apache HBase)。CDH的当前版本(4.2)引入的一个HBase新特性最近加入到了主干中,允许用户对指定表进行快...

2015-06-15 00:12:44

阅读数:561

评论数:0

如何使用Hadoop的JobControl

转自:http://qindongliang.iteye.com/blog/2064281 使用Hadoop里面的MapReduce来处理海量数据是非常简单方便的,但有时候我们的应用程序,往往需要多个MR作业,来计算结果,比如说一个最简单的使用MR提取海量搜索日志的TopN的问题,注意,这里面,其...

2015-06-14 15:18:07

阅读数:1791

评论数:0

SynchronizedMap和ConcurrentHashMap的深入分析

转自:http://blog.sina.com.cn/s/blog_5157093c0100hm3y.html     在开始之前,先介绍下Map是什么? javadoc中对Map的解释如下: An object that maps keys to values . ...

2015-06-11 10:41:14

阅读数:408

评论数:0

IBM---Java 多线程与并发编程专题

http://www.ibm.com/developerworks/cn/java/j-concurrent/   有线程安全也有线程池的实现~

2015-06-11 10:38:33

阅读数:801

评论数:0

Java中的移位操作以及基本数据类型转换成字节数组【收集】

AVA中位运算符包括: & | ~ ^ >> >>> 一、 首先要搞清楚参与运算的数的位数: ( 联想:java的8种基本类型:byte,short, char, int, long,float,double,boolean.  ...

2015-06-11 10:35:30

阅读数:496

评论数:0

83款 网络爬虫开源软件

网络爬虫介绍及其比较 http://www.docin.com/p-321349858.html 1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view&   搜索...

2015-06-11 10:34:12

阅读数:3523

评论数:0

UNICODE,GBK,UTF-8区别

简单来说,unicode,gbk和大五码就是编码的值,而utf-8,uft-16之类就是这个值的表现形式.而前面那三种编码是一兼容的,同一个汉字,那三个码值是完全不一样的.如"汉"的uncode值与gbk就是不一样的,假设uncode为a040,gbk为b030,而uft-8码,就是把那个值表现的...

2015-06-11 10:29:45

阅读数:448

评论数:0

Hive常用的SQL命令操作

转自 http://blog.csdn.net/wisgood/article/details/17186599 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING);  创建表并创建索引字段ds hive> CR...

2015-06-06 21:09:19

阅读数:367

评论数:0

hive的Specified key was too long; max key length is 767 bytes问题解决

把hive 的metadata配置成mysql,执行命令时报以下错误 hive> show tables; FAILED: Error in metadata: MetaException(message:Got exception: javax.jdo.JDODataStoreExce...

2015-06-03 23:20:32

阅读数:3855

评论数:0

关于几种压缩算法以及hadoop和hbase中的压缩配置说明

Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy,其中lzo、snappy需要操作系统安装native库才可以支持 下面这张表,是比较官方一点的统计,不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的,压缩比最高,GZIP不能被分块并行的处理;Snap...

2015-06-02 00:41:40

阅读数:663

评论数:0

正则表达式30分钟入门

目录 跳过目录 本文目标如何使用本教程正则表达式到底是什么东西?入门测试正则表达式元字符字符转义重复字符类分枝条件反义分组后向引用零宽断言负向零宽断言注释贪婪与懒惰处理选项平衡组/递归匹配还有些什么东西没提到联系作者网上的资源及本文参考文献更新纪录 本文目标 30分钟内让你...

2015-05-24 02:20:28

阅读数:922

评论数:0

XML文档类型定义DTD

DTD概述 DTD用来定义XML文档的结构,它包含一系列规则说明,以确保XML文档的一致性和有效性 DTD定义了XML文档可用的词汇(元素和属性的名称)和结构: 元素名称,包括根元素 元素的属性及属性的数据类型和取值方式 子元素的名称、顺序、出现次数 元素是否拥有子元素,是否能拥有...

2015-05-24 02:11:21

阅读数:523

评论数:0

Hadoop参数汇总

Hadoop参数汇总 @(hadoop)[配置] linux参数 以下参数最好优化一下: 文件描述符ulimit -n用户最大进程 nproc (hbase需要 hbse book)关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器 JVM参数 ...

2015-05-24 01:49:27

阅读数:511

评论数:0

hbase 租约超时及rpc超时出现的问题

随着数据量的增大,HIVE查询HBase的时候又出现了scan数据缓慢的问题,在HBase regionserver的log中出现了如下错误:   [plain] view plaincopy org.apache.hadoop.hbase.reg...

2015-05-22 01:14:56

阅读数:2563

评论数:0

Hbase配置项简介

Hbase配置项简介 转自网络 Hbase配置项(1) hbase.tmp.dir:本地文件系统的临时目录,默认是java.io.tmpdir/hbase?{user.name}; hbase.rootdir:hbase持久化的目录,被所有regionserver共享,默认${hbase....

2015-05-22 00:59:54

阅读数:594

评论数:0

HBase性能优化方法总结(4):读表操作

来自:http://www.cnblogs.com/panfeng412/archive/2012/03/08/hbase-performance-tuning-section3.html 本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优...

2015-05-22 00:58:49

阅读数:394

评论数:0

HBase性能优化方法总结(3):写表操作

本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第二部分内容:写表操作相关的优化方法。 2. 写表操作 2.1 多HTable并发写 创建多个HTable...

2015-05-22 00:58:04

阅读数:417

评论数:0

HBase性能优化方法总结(2):表的设计

本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第一部分内容:表的设计相关的优化方法。 1. 表的设计 1.1 Pre-Creating Regions 默认情况...

2015-05-22 00:56:46

阅读数:413

评论数:0

HBase性能优化方法总结(1):配置优化

配置优化 zookeeper.session.timeout 默认值:3分钟(180000ms) 说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台se...

2015-05-22 00:56:03

阅读数:1131

评论数:0

01 HBase基本概念和hbase shell常用命令用法

本文转载自:http://archive.cnblogs.com/a/2178064/ 1. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hado...

2015-05-22 00:55:09

阅读数:406

评论数:0

hadoop 配置项的调优

dfs.block.size   决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tracker的调度和内存的占用(更影响内存的使用), mapred.map.tasks.speculative.execution=true  mapred.reduce.task...

2015-05-22 00:47:36

阅读数:354

评论数:0

使用ssh-keygen和ssh-copy-id三步实现SSH无密码登录

ssh-keygen  产生公钥与私钥对. ssh-copy-id 将本机的公钥复制到远程机器的authorized_keys文件中,ssh-copy-id也能让你有到远程机器的home, ~./ssh , 和 ~/.ssh/authorized_keys的权利 第一步:在本地机器...

2015-05-19 23:03:19

阅读数:741

评论数:0

HDFS 的Trash回收站功能的配置、使用

文件的删除和恢复         和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期,也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话,HDFS就会自...

2015-05-17 22:32:18

阅读数:949

评论数:0

Hadoop生成HFile直接入库HBase心得

转载请标明出处:http://blackwing.iteye.com/blog/1991380  hbase自带了ImportTsv类,可以直接把tsv格式(官方教材显示,是\t分割各个字段的文本格式)生成HFile,并且使用另外一个类org.apache.hadoop.hbase.ma...

2015-05-10 13:42:10

阅读数:2947

评论数:0

hadoop 之DefaultStringifier

今天在读hadoop源码时发现DefaultStringifier这个类很有意思,主要是用来从configuration对象中get或set key、value键值对的时候使用。 具体原因不是很清楚,在网上google了下:  写MapReduce程序通常要传递各种各样的参数,...

2015-05-10 13:38:10

阅读数:923

评论数:0

Hadoop中的压缩Codec

作为输入             当压缩文件作为MapReduce的输入时,MapReduce将自动通过扩展名找到相应的Codec对其解压。 作为输出             当MapReduce的输出文件需要压缩时,可以更改mapred.output.compress为tr...

2015-05-07 01:35:54

阅读数:819

评论数:0

Hadoop 2.x的DistributedCache无法工作的问题

转自:http://www.codelast.com/?p=8131 现象:和这个帖子描述的一样,简单说来就是,在Hadoop 2.x上,用新的DistributedCache的API,在mapper中会获取不到这个cache文件。 下面就详细地描述一下新旧API的用法区别以及解决办法...

2015-05-05 01:20:53

阅读数:1209

评论数:1

ZeroCopyLiteralByteString cannot access superclass

问题描述 在HBase上运行MapReduce作业时,报如下异常:IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString cannot access its superclass com.google.proto...

2015-04-23 15:08:07

阅读数:1307

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭