- 博客(610)
- 资源 (3)
- 收藏
- 关注
RSS订阅
转载 apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法
kafka.common.ConsumerRebalanceFailedException :log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63 can't rebalance after 3 retriesat kafka.consumer.ZookeeperConsumer
2017-03-17 13:49:28
1309
原创 elisp教程
https://www.douban.com/group/topic/9719353/http://blog.csdn.net/yunjie2008/article/details/5684983
2016-12-26 00:16:25
1264
转载 关于GOROOT、GOPATH、GOBIN、project目录
http://blog.csdn.net/Alsmile/article/details/48290223GOROOT、GOPATH、GOBIN、project目录前言：我觉得java程序员学golang很容易上手。关于GOROOT、GOPATH、GOBIN这些环境变量的设置，我隐约感觉到了java的影子（尽管我是一个C＋＋程序员），唯一和java不同的是不能设置“.”。
2016-12-08 11:25:01
957
转载 kubernetes源码编译
https://github.com/kubernetes/kubernetes/blob/master/docs/devel/development.md说明：确保本地的golang环境已经正确的安装 1. cd $GOPATH/src & mkdir k8s.io & cd k8s.io 2. 官网下载源码 获取指定版本的： git clone
2016-12-08 11:19:35
3371
转载 ubuntu jdk
Ubuntu16.04 安装openjdk-7-jdkUbuntu16.04 安装openjdk-7-jdk sudo apt-get install openjdk-7-jre 或者sudo apt-get install openjdk-7-jdkUbuntu16.04的安装源已经默认没有openjdk7了，所以要自己手动添加仓库，如下：# 1. o
2016-12-06 13:23:09
389
转载 Nginx+uwsgi+flask部署
Nginx+uwsgi+flask部署标签： flaskuwsgipython2016-03-05 12:26 303人阅读 评论(0) 收藏 举报 分类：python（14） 目录(?)[+]系统环境：Centos6.7、Python2.7、pip2.7（安装方式参考前一篇）安装安装flaskpip2
2016-10-30 23:09:26
632
转载 python笔记---需求文件requirements.txt的创建及使用
http://blog.csdn.net/loyachen/article/details/52028825Python项目中必须包含一个 requirements.txt 文件，用于记录所有依赖包及其精确的版本号。以便新环境部署。在虚拟环境中使用pip生成：(venv) $ pip freeze >requirements.txt11安装或升级包后，最好更新这个文
2016-10-30 22:44:43
652
转载 spark checkpoint
/** * Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint * directory set with `SparkContext#setCheckpointDir` and all references to its parent * RDDs will be
2016-09-23 11:45:43
442
转载 素数判断算法(高效率）
http://blog.csdn.net/liukehua123/article/details/5482854chuanbindeng 的 素数判断算法关于素数的算法是信息学竞赛和程序设计竞赛中常考的数论知识，在这里我跟大家讲一下寻找一定范围内素数的几个算法。看了以后相信对大家一定有帮助。 正如大家都知道的那样，一个数 n 如果是合数，那么它的所有的因子不超过sqrt(
2016-07-29 13:44:23
819
转载 Spark大数据处理之从WordCount看Spark大数据处理的核心机制（1）
http://www.aboutyun.com/thread-14544-1-1.html
2016-06-28 16:05:14
562
转载 spark on yarn 安装
http://blog.csdn.net/xiao_jun_0820/article/details/46561097
2016-06-24 11:51:55
416
转载 spark操作hbase
spark 操作 hbasehttp://www.geekbus.cn/read-hbase-data-using-spark/
2016-06-24 11:42:04
452
转载 spark1.4 操作hbase 基于rdd
import org.apache.hadoop.hbase.util.Bytesimport org.apache.spark.rdd.NewHadoopRDDimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.mapred.JobConfimport org.apache.spark.Spa
2016-06-24 11:07:51
1084
转载 spark1.4 基于rdd操作hbase
Spark 操作Hbase 对表的操作：增删改查 scalaimport org.apache.hadoop.hbase.client._import org.apache.hadoop.hbase.mapreduce.TableInputFormatimport org.apache.hadoop.hbase.util.Bytesimport org.ap
2016-06-24 11:05:52
731
原创 spark1.4 spark-shell hbase
scala> import org.apache.hadoop.hbase.{HBaseConfiguration, TableName}import org.apache.hadoop.hbase.{HBaseConfiguration, TableName}scala> import org.apache.hadoop.hbase.client._import org.ap
2016-06-24 10:31:18
596
转载 How to access HBase from spark-shell using YARN as the master on CDH 5.3 and Spark 1.2
How to access HBase from spark-shell using YARN as the master on CDH 5.3 and Spark 1.2http://somelittlebits.blogspot.com/2015/01/how-to-access-hbase-from-spark-shell.htmlHow to access
2016-06-20 10:51:02
584
原创 adbd cannot run as root in production builds
1. 先保证手机已经root$ adb shellroot@dior:/ $ suroot@dior:/ #执行命令后，$ 变为 # 即 root 成功（用过linux都知道，不解释）以上问题可以通过在手机安装 adbd.apk 解决，启动 adbd ,并做以下选择，即可解决。ps：android5.x的adbd用的版本是2.x为好，
2015-10-14 09:21:09
792
转载 Mac与VMware虚拟机之间无法复制/粘贴的解决方法
http://www.cnblogs.com/dudu/archive/2013/02/02/mac_vmware_copy_paste_not_working.html在Mac中突然遇到这样一个奇怪问题：在Mac中Command+C复制内容，在VMware虚拟机中Command+V粘贴内容，竟然粘贴不出来；反之，在VMware中复制内容，在Mac中也粘贴不出来。这是自
2015-09-06 16:23:11
25180
5
转载 Wireshark和TcpDump抓包分析心得
1. Wireshark与tcpdump介绍 Wireshark是一个网络协议检测工具，支持Windows平台和Unix平台，我一般只在Windows平台下使用Wireshark，如果是Linux的话，我直接用tcpdump了，因为我工作环境中的Linux一般只有字符界面，且一般而言Linux都自带的tcpdump，或者用tcpdump抓包以后用Wireshark打开分析。在Windows
2015-09-05 17:26:28
665
转载 Mac OS X中MacPorts安装和使用
Mac下面除了用dmg、pkg来安装软件外，比较方便的还有用MacPorts来帮助你安装其他应用程序，跟BSD中的ports道理一样。MacPorts就像apt-get、yum一样，可以快速安装些软件。下面将MacPorts的安装和使用方法记录在这里以备查。访问官方网站http://www.macports.org/install.php，这里提供有dmg安装和源码安装两种方式，d
2015-09-05 11:00:21
458
原创 mac出现 git permission user1 git/repo to deny user2
去mac的keychain里找到已经存在的账户，删除之然后，重新配置就好了
2015-09-01 13:19:28
535
转载 zsh安装和插件安装总结
1. 安装zsh2. 有的插件比如 autojump git 等，直接 plugins=(git autojump) 安装3. 有的比如auto-fu需要更外安装，见另一篇auto-fu安装
2015-09-01 12:58:56
2584
转载 oh-my-zsh and auto-fu.zsh
目錄安裝oh-my-zshclone the oh-my-zsh.git備份現有的.zshrc複製oh-my-zsh提供的樣本完成安裝auto-fu.zshclone the auto-fu.zsh.git加入下列到~/.zshrc完成安裝oh-my-zshclone the oh-my-zsh.git
2015-09-01 11:41:38
1434
转载 安装auto-fu.zsh让命令输入自动补全
下载auto-fu.zsh12cd ~/.oh-my-zsh/custom/pluginsgit clone https://github.com/hchbaw/auto-fu.zsh.git auto-fu执行zcompile1A=~/.oh-my-zsh/custom/pl
2015-09-01 11:16:45
4065
转载 Centos 6.4 python 2.6 升级到 2.7
一开始有这个需求，是因为用 YaH3C 替代 iNode 进行校园网认证时，一直编译错误，提示找不到 Python 的某个模块，百度了一下，此模块是在 Python2.7 以上才有的，但是系统的自带的Python是2.6版本，难怪一直连不上网。于是，继续百度google，进行安装，后来又出现问题...在此开篇记录一下，权当备忘。查看python的版本
2015-08-27 12:54:58
402
转载 clojure编程-延迟计算
5.2 如何延迟函数编程大量使用递归定义，递归定义由两部分组成：(1) 基础，明确列出序列的一些元素(2) 归纳，提供规则利用序列元素，生成更多的元素Clojure中有多种方法实现递归：(1) 简单递归，使用函数调用自己实现归纳步(2) 尾部递归，只在函数末尾调用函数自己实现归纳步(3) 延迟序列，消除实际的递归，延后直到需要时再计算值在Clojure中，采用延
2015-08-21 15:40:54
601
转载 Hadoop HBase 配置 安装 Snappy 终极教程
因为产品需要，这两天研究了一下Hadoop Snappy。先不说什么各个压缩算法之间的性能对比，单是这个安装过程，就很痛苦。网上有很多博友写Hadoop Snappy安装过程，大部分是照着Google的文档翻译了一遍，并没有列举出遇到的问题。有的博文，明明其验证提示是错误的，还说如果输出XXX，说明安装成功了。费了老大的劲，终于安装成功了，现将详细步骤及遇到的问题，一一列出，只希望接下来需要研究及
2015-07-29 17:54:45
854
转载 HTablePool 在Hbase 0.94、0.95、0.97被废弃，在0.98中被清除（ HTablePool 对比HConnection.getTable），hbase0.98
HTablePool 在Hbase 0.94、0.95、0.97被废弃，在0.98中被清除（ HTablePool 对比HConnection.getTable），hbase0.98
2015-07-29 13:43:14
793
转载 【HBase工具】查看解析HFile
查看HFile是HBase本身自带的一个很实用的工具 使用也很简单： $ ${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.io.hfile.HFile usage: HFile [-a] [-b] [-e] [-f ] [-k] [-m] [-p] [-r ] [-v] -a,--checkfamily Enable
2015-07-29 10:05:10
1929
转载 使用hbase自带工具测试读写速率
性能测试结果 hbase/bin/hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1org.apache.hadoop.hbase.PerformanceEvaluation$SequentialWriteTest in 66382ms at offset 0 for 1048576 rows
2015-07-29 10:03:15
2964
原创 Java&Scala混合编程
1. mvn 创建一个普通的java工程后，添加如下信息：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/P
2015-07-07 22:34:33
9181
2
转载 一个工程打多个jar包
一个工程打多个jar包http://agiledon.github.io/blog/2013/11/10/create-two-jars-from-one-project-using-maven/
2015-06-26 10:21:16
914
转载 检测最耗cpu的线程的脚本
这个脚本用于定位出当前java进程里最耗cpu的那个线程，给出cpu的占用率和当前堆栈信息。这个脚本仅限于linux上，我没有找到在mac下定位线程使用cpu情况的工具，如果你知道请告诉我一下。先模拟一个耗cpu的java进程，启动一个scala的repl并在上面跑一段死循环：scala> while(true) {}脚本执行效果：$ ./busythread.sh `p
2015-06-24 21:54:51
741
转载 维护1
1、集群故障现象以及解决方法 故障现象解决方法“hbase shell”命令无法显示list以及meta丢失查看集群hbase的regionserver日志；一般重启hbaseHbase表显示不全“Hbase hbck”命令查看具体细节，很有可能有”no empty start key”的错误
2015-06-15 11:08:30
525
转载 HBase在内容推荐引擎系统中的应用
HBase是Hadoop生态系统中继Cassandra之后成为NoSQL数据库的，一直备受关注。本文将阐述HBase在搜狐内容推荐引擎系统中的应用，并简单介绍为了使HBase满足应用需求，我们对HBase进行的定制化开发工作。Facebook放弃Cassandra之后，对HBase 0.89版本进行了大量稳定性优化，使它真正成为一个工业级可靠的结构化数据存储检索系统。Faceb
2015-06-11 18:09:50
1230
转载 实时系统HBase读写优化--大量写入无障碍
在使用hbase过程中发现在写入hbase的数据量很大时，经常发生写不进去的情况。而我们基于hbase的应用是对实时性要求很高的，一旦hbase不能读写则会大大影响系统的使用。下面将记录hbase写优化的过程。1.禁止Major Compaction在hbase进行Major Compaction时，该region将合并所有的storefile，因此整个region都不可读，所有对
2015-06-11 16:51:43
2470
转载 理解表现和结构相分离
对于初学者，我们常看见web标准的好处之一是“能做到表现和结构相分离”，那这到底是什么意思呢？我将以一个实际的例子来详细说明。首先我们必须先明白一些基本的概念：内容、结构、表现和行为。1.内容内容就是页面实际要传达的真正信息，包含数据、文档或者图片等。注意这里强调的“真正”，是指纯粹的数据信息本身。比如一个不包含辅助的信息,比如导航菜单、装饰性图片等。举个例子，有下面一段文本是我们
2015-06-10 10:26:29
1462
json以及json依赖的包
2013-12-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人