- 博客(47)
- 收藏
- 关注
RSS订阅原创 logback使用
[code="java"]import org.slf4j.Logger;import org.slf4j.LoggerFactory;public class MyClass { private static Logger logger = LoggerFactory.getLogger(MyClass.class); public static vo...
2016-08-24 16:35:46
139
原创 flume-ng hdfs配置文件
[code="java"]collection73Agent.sources=source73collection73Agent.sinks=sink73-1 sink73-2collection73Agent.channels=channel73#configuration sourcecollection73Agent.sources.source73.type=a...
2016-08-17 14:02:21
140
原创 exec方式flume-ng配置
[code="java"]producer.sources = r1producer.sinks = k1 k2producer.channels = c1 c2# Describe/configure the sourceproducer.sources.r1.type = execproducer.sources.r1.command =tail -F /home/...
2016-08-17 14:02:14
161
原创 Spark Kmeans算法
[code="java"]spark-submit --class com.ones.soc.cf.KMeansClustering --master yarn --num-executors 3 --driver-memory 5g --executor-memory 4g /root/bigData.jar /ones/mldata/test1 /ones/mldata/tes...
2016-08-17 14:02:05
231
原创 Als最小二乘法
[code="java"]spark-submit --class com.ones.soc.cf.MoiveRecommender --master yarn --num-executors 3 --driver-memory 5g --executor-memory 4g /root/bigData.jar 2 5 0.01 /ones/mldata/1u.user /ones/m...
2016-08-17 14:01:55
186
原创 Scala访问修饰符
包，类或对象的成员可以标记访问修饰符private和protected，如果我们不使用这两种关键字，那么访问将被默认设置为public。这些修饰限制为成员的代码的某些区域访问。要使用访问修饰符，包括它的包，类或对象的成员定义的关键字，我们将在下一节中看到。私有成员：私有成员只能看到里面包含的成员定义的类或对象。下面是一个例子：class Outer { class Inne...
2016-08-17 13:59:12
101
原创 Storm和Spark streaming区别
1.处理模型 Storm处理的是每次传入的一个事件. Spark Streaming是处理某个时间段窗口内的事件流2.延迟 Storm处理一个事件可以达到秒内的延迟 Spark Streaming则有几秒钟的延迟3.容错 Storm中,每个单独的记录当它通过系统时必须被跟踪，所以Storm能够至少保证每个记录将被处理一次， 从错误中恢...
2016-08-16 11:55:11
200
原创 flume-ng syslogtcp整合配置文件
[code="java"]#configuration 'flume78Agent'flume78Agent.sources=source78flume78Agent.sinks=sink78-1 sink78-2flume78Agent.channels=channel78#configuration sinks groupflume78Agent.sinksgr...
2016-08-16 11:53:04
229
原创 Storm Trident 项目
[code="java"]事务：运用IPartitionedTridentSpoutDRPC：Web端通过DRPC获得结果数据topN：按销售额排行基于Hbase存储的Trident state：支持Topo重启时不丢数据，也可支撑Web端读数据数据获得实现 通过开源Storm-kafka项目提供 采用Storm-kafka 项目中提供的Transactional...
2016-08-16 11:52:50
123
原创 spark 几种transformation 的计算逻辑和测试
[code="java"]测试例子使用的数据：test01：[java]view plaincopyprint?在CODE上查看代码片派生到我的代码片a a b b c c d d e e f f g g test02：[java]view plaincopyprint?在CODE上查看代码片派生到我的代码片1122...
2016-08-16 11:52:23
100
原创 leftOuterJoin操作
[code="java"]import org.apache.spark.rdd.RDDimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext}object JoinRDD { def main(args: Array[String]) { ...
2016-08-16 11:52:02
169
原创 Md5+Base64产生令牌
[code="java"]import java.security.MessageDigest;import java.util.Random;import sun.misc.BASE64Encoder;// 令牌产生器public class TokenProccessor { // 单例 private TokenProccessor(){} ...
2016-08-15 13:33:58
201
原创 kafka生成者实例
[code="java"]1. 配置文件 producer.properties#kafka broker listmetadata.broker.list=master:9092,slave1:9092,slave2:9092,slave3:9092#异步producer.type=sync#压缩方式compression.codec=0#序列化seria...
2016-08-15 13:33:42
132
原创 kafka消费者实例
[code="java"]1.配置文件 consumer.properties#zookeeper地址zookeeper.connect=master:2181,slave1:2181,slave2:2181#zookeeper超时时间zookeeper.connectiontimeout.ms=1000000#kafka的consumer组group.id=t...
2016-08-15 13:32:20
129
原创 Linux Shell 命令
1. 前言本文介绍了常用的Linux shell命令，包括date、cut、sort、uniq、sed、vi、diff、find等，同时给出尽可能使用的实例以便于理解。2. Linux shell命令2.1 date作用：获取或者设置日期用法：date [选项] 显示时间格式（以+开头，后面接格式）举例：(1) 以固定格式显示时间：date + “%Y%m%d%H”...
2016-08-15 13:31:34
71
原创 redis开机启动设置
[code="java"]1、脚本：名字，redisvi /etc/init.d/redis#!/bin/sh#chkconfig: 2345 80 90#description:auto_runPATH=/usr/local/bin:/usr/local/redis/bin:/sbin:/usr/bin:/bin REDISPORT=6379 EXEC=/...
2016-08-15 13:31:17
82
原创 HBase性能优化
1、修改Linux配置Linux系统最大可打开文件数一般默认的参数值是1024，如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误，导致整个HBase不可运行，你可以用ulimit -n 命令进行修改，或者修改/etc/security/limits.conf 和/proc/sys/fs/file-max的参数，具体如何修改可以去Google 关键字“lin...
2016-08-11 13:51:34
83
原创 何谓黑客
何谓“黑客”黑客是英文“HACKER”的音译。动词原形为“HACK”，意为“劈”、“砍”。英文词典是这样解释黑客行为：未经授权进入一个计算机的存储系统，如数据库。中文译成“黑客”贬义比英文原义似乎略重，有“未经允许”等不合法的含义。另一种说法是，HACK是本世纪早期麻省理工学院俚语，有“恶作剧”之意，尤其指手法巧妙，技术高明的恶作剧，并且带有反既有体制的色彩。四代黑客铸就了网络...
2016-08-11 13:51:22
117
原创 Hadoop常见问题及解决办法
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.conf...
2016-08-11 13:48:41
229
原创 ExecutorService线程池
ExecutorService 建立多线程的步骤：1。定义线程类class Handler implements Runnable{}2。建立ExecutorService线程池ExecutorService executorService = Executors.newCachedThreadPool();或者//获取当前系统的CPU 数目int cp...
2016-08-11 13:48:31
71
原创 分布式发布订阅消息系统 Kafka 架构设计
Consumer stateIn Kafka, the consumers are responsible for maintaining state information (offset) on what has been consumed. Typically, the Kafka consumer library writes their state data to zookeep...
2016-08-11 13:48:20
143
原创 多线程并发库工具类Exchanger
[code="java"]import java.util.concurrent.Exchanger;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;publicclass ExchangerTest { publicstaticvoid ...
2016-08-10 11:48:29
68
原创 多线程并发线程的读写锁
[code="java"]/*读写锁，读读不互斥，读写互斥，写写互斥 互斥的放在同一个类中 */import java.util.Random;import java.util.concurrent.locks.ReadWriteLock;import java.util.concurrent.locks.ReentrantReadWriteLock; publ...
2016-08-10 11:47:56
134
原创 多线程并发阻塞队列
[code="java"]import java.util.concurrent.ArrayBlockingQueue;import java.util.concurrent.BlockingQueue;/** *测试多线程操作共享数据（互斥） */publicclass BlockingQueueTest { publicstaticvoid main(Str...
2016-08-10 11:45:51
90
原创 多线程并发Semaphore应用
[code="java"]/*单个信号量的Semaphonre对象可以实现互斥锁的功能，并且可以是由一个线程获得了“锁”，再由另一个线程释放“锁”这可应用于死锁恢复的一些场合。 */import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import j...
2016-08-10 11:45:42
179
原创 Docker虚拟化技术
网摘：http://tech.uc.cn/?p=2726http://dockerpool.com/static/books/docker_practice/index.htmlhttp://yuedu.baidu.com/ebook/d817967416fc700abb68fca1?pn=1//http://mirrors.yun-idc.com/epel/6/x86_64/...
2016-08-10 11:45:13
134
原创 使用Fuel快速部署openstack集群
1部署规划 Fuel节点：只是为了给其他节点部署OpenStack时使用，所以准备1台节点作为FuelController节点：openstack的管理节点，生产中要对该节点做HA的Compute节点：openstack的计算节点，生产中要有多个计算节点的，在上面创建虚拟机实例Storage节点：openstack的存储节点，生产中要做成存储集群，并且把对象存储和块存储分...
2016-08-02 11:43:28
603
原创 Redis安装及主从设置
Redis安装及主从设置一 准备服务器需要安装 gcc yum install gcc -y 安装用户为root二安装2.1安装主服务器并测试 1.放置在opt目录下cd /opttar –zxvf tar -zxvf redis-3.0.4.tar.gz2.更改目录名mv redis-3.0.4 redis3.进入s...
2016-08-01 14:42:48
65
原创 elasticsearch API
3.1 集群的连接3.1.1 作为Elasticsearch节点复制代码import static org.elasticsearch.node.NodeBuilder.nodeBuilder;import org.elasticsearch.client.Client;import org.elasticsearch.node.Node;Node node =...
2016-08-01 14:37:27
82
原创 四柱12星煞速记法
在中国古代，四柱命理预测学中的吉凶神煞兴盛时多达一百二十多种，这么多的神煞古人是怎么认定的呢？原来，它们不是按照五行生克制化原理得出的结论，而是前人凭借自己在长期的预测中积累的精华，进行的硬性分配。甚至，有些人凭主观臆断，后人不加分析以讹传讹。截止今天，我们见诸于易书的星煞仍有五十余种，在实际预测中绝大多数根本不验，难怪清代大学士陈素庵在《命理约言》中指出：“凡人命吉凶皆由格局运气，安可以偶合...
2016-08-01 14:23:25
583
原创 易经入门
易经入门《易经》指夏代的《连山》、商代的《归藏》及周代的《周易》，这三部经卦书统称为易经。其中《连山》、《归藏》已失传，传世的只有《周易》一本。从本质上来讲，《易经》是阐述关于变化之书，长期被“卜筮”利用。“卜筮”就是对未来事态的发展进行预测，而《易经》便是总结这些预测的规律理论的书。 《易经》含盖万有，纲纪群伦，是中国传统文化的杰出代表；广大精微，包罗万象，亦是中华文明的源头活水。...
2016-08-01 14:15:37
574
原创 虚拟目录和fielderror.ftl
[code="java"]虚拟目录：需要重启方式1： conf\Catalina\localhost\abc.xml 文件 abc为虚拟目录 映射路径 c:\news 为虚拟目录 1.多路径aaa#bbb 2.默认的web应用 ROOT.xml...
2016-08-01 14:07:51
129
原创 sqoop自定义字符串分隔符
Sqoop提供的--fields-terminated-by选项可以支持指定自定义的分隔符，但是它只支持单字节的分隔符，对于我们特殊的需求：希望使用双字节的“”，默认的是不支持的。Sqoop在进行每一次的导出任务时，都会调用codegen，生成一个java文件，并编译打包成一个jar，供MapReduce使用。这个java文件包装了一系列的对导出数据的访问接口，我们可以尝试通过对这个j...
2015-12-02 12:57:46
922
原创 64位操作系统下重新编译hadoop-2.2.0
操作系统oracle linux 5.8 64bit1.yum光盘源设置vi /etc/yum.repos.d/rhel-debuginfo.repo[base]name=Server Local Sourcesbaseurl=file:///media/Serverenabled=1gpcheck=1gpgkey=file:///media/RPM-GPG-K...
2015-11-30 16:39:31
136
原创 Spring RMI服务
1.Spring中配置 RMI服务 服务端 发布 a. IHelloWorld接口 sayHi() 方法 b. HelloWorld实现类 sayHi() 方法 c. applicationcontext配置 [code="java"] ...
2012-06-28 18:37:45
79
原创 ubuntu
1.目录bin 存放二进制可执行文件boot 存放用于系统引导时使用的各种文件dev 存放设备文件etc 存放系统配置文件home 存放用户文件的根目录lib 内核模块，存放跟文件系中的程序运行所需要的共享库mnt 系统文件挂载点opt 应用程序软件包proc 虚拟木，存放内存映射root 超级用户目录sbin 二进制可执行文件，只有root才能...
2012-06-24 23:24:39
81
原创 zip压缩
[code="java"]import java.io.BufferedOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io....
2012-06-24 22:26:50
82
原创 FileSystemXmlApplicationContext
BeanFactory有很多实现类，通常使用org.springframework.beans.factory.xml.XmlBeanFactory类。但对于大部分J2EE应用而言，推荐使用ApplicationContext. ApplicationContext是BeanFactory的子接口，其常用实现类是org.springframework.context.support.Fil...
2012-06-12 22:51:23
612
原创 sc创建服务
sc create SVN-Service binpath= "C:\ProgramFiles\Subversion\bin\svnserve.exe --service -r D:\svn\repository\tom" displayname= "SVN-Service" start= auto depend= Tcpip
2012-06-10 22:32:11
86
原创 Jquery中ready
语法 1$(document).ready(function)语法 2$().ready(function)语法 3$(function)提示：ready() 函数不应与 一起使用。
2012-04-27 23:44:12
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人