技术
文章平均质量分 59
luohandsome
这个作者很懒,什么都没留下…
展开
-
tcpdump追查问题
ubuntu@10-7-2-132:~$ sudo tcpdump tcp port 9000 -vv -i lotcpdump: listening on lo, link-type EN10MB (Ethernet), capture size 65535 bytes23:00:44.637134 IP (tos 0×0, ttl 64, id 57090, offset 0, fla原创 2015-09-07 11:41:12 · 1478 阅读 · 0 评论 -
ubuntu 13.04 hadoop伪分布式环境的搭建
1.分三种模式,单机模式,配置为空,调试用,伪分布式,所有的daemon进程在一台机器上,完全分布式,多台机器布署hadoop2.先安装jdk,再下载hadoop,我下载的是1.2.1wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz3.创建hado原创 2015-09-07 11:37:47 · 420 阅读 · 0 评论 -
hadoop全分布式环境的搭建
1.再搞一台机器,用相同的方法部署hadoop2.修改/etc/hosts把机器A设置为master namenode slave1 datanode1把机器B设置为slave2 datanode2修改conf/下masters和slaves两个配置文件,把localhost改成以下内容masters文件:masterslaves文件:slave1slave原创 2015-09-07 11:40:08 · 396 阅读 · 0 评论 -
resin的部署安装
resin和tomcat apache一样,也是开源的webserver环境 ubuntu 12.041.下载resin-pro-4.0.39.tar.gz。解压2.mkdir -p /opt/resin-4.0.393.设置环境变量export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64export JRE_HOME=$JAVA原创 2015-09-15 14:51:18 · 2723 阅读 · 0 评论 -
MapReduce程序初步入门
1.编写一个WordCount的类实现两个内部类,一个继承Mapper模板类,一个继承Reducer模板类Mapper和Reducer的四个模板参数如下:KEYIN, VALUEIN, KEYOUT, VALUEOUT分别表示输入的Key的类型,输入的value类似,输出的Key类型,输出的value类似Object表示以输入文件每一行在文件中的偏移Text表示文本In原创 2015-09-15 14:56:17 · 1540 阅读 · 0 评论 -
在centOS 6.3下,进行hadoop 2.0.0-alpha(yarn)本地模式部署
1.下载hadoop-2.0.0-alpha.tar.gz,解压.2.配置环境变量JAVA_HOME HADOOP_HOME3.建目录mkdir -p /home/rd/soft/data/hadoop/tmpmkdir -p /home/rd/soft/data/hdfs/namemkdir -p /home/rd/soft/data/hadoop/hdfs/data4.原创 2015-09-15 14:57:38 · 1457 阅读 · 0 评论 -
kafka集群部署及仍然存在的问题
一、kafka使用心得:1.实际上chroot是在kafka/config/server.properties中设置。2.在kafka进程启动之前,要先在zookeeper上创建好chroot对应的目录3.kafk进程启动后,会在chroot下面创建以下的目录consumers : 用来记录消费者的信息,下面的目录是对应consumer指定的group.idconfig : 用原创 2015-09-15 15:01:01 · 4056 阅读 · 1 评论 -
git push 失败的解决办法
有时候git push会报错:git push origin luoyan-dev:luoyan-devTo git@xxx.com:xxx.git! [rejected] luoyan-dev -> luoyan-dev (non-fast-forward)error: failed to push some refs to ‘git@xxx.com:xxx.git’To原创 2015-09-15 15:01:52 · 2039 阅读 · 1 评论 -
jQuery bootstrap和highcharts的入门
1.官方信息bootstrap的网站http://www.bootcss.com/highcharts的网站http://www.highcharts.com/2.bootstrap 使用说明:2.1 bootstrap比较常用的是它的栅格系统,用来做网页布局非常方便。它提供了table的便利性,但又足够灵活,可以针对每个栅格设置不同的css样式。2.2原创 2015-09-15 15:03:34 · 4236 阅读 · 0 评论 -
yarn分布式集群部署
单机部署的方式,ubuntu上和CentOS一样分布式集群的部署方式1. 修改slave1和slave2机器的/etc/hosts设置master slave1 slave2namenode datanode1 datanode2修改配置etc/hadoop/slaves没有etc/hadoop/master文件master配置写在yarn-site.xml中把lo原创 2015-09-15 15:04:14 · 2179 阅读 · 0 评论 -
eclipse工程转maven工程出错的解决办法
一般只要安装了eclipse maven插件,就可以把普通eclipse工程转成maven工程,但是实际上会报错。“Updating Maven Project”. Unsupported IClasspathEntry kind=4解决办法1.eclipse 选择工程,右键,maven -> disable maven nature2.命令行里mvn eclipse:clea原创 2015-09-15 14:59:55 · 1891 阅读 · 0 评论 -
使用百度地图API生成麻点图
需求:给定一批地址,生成一张地图,上面有红点标注。解决办法,总体思路是通过百度地图的API,免费高效:1.注册一个百度帐号。登陆http://lbsyun.baidu.com/apiconsole/key创建一个应用,生成一个appkey2.打开http://developer.baidu.com/map/index.php?title=jspopular原创 2015-09-15 15:02:49 · 9090 阅读 · 0 评论 -
ubuntu 13.04安装supervisor
supervisor工具用来监控进程,如果出现异常退出就自动重启。1.sudo apt-get install supervisor2.修改/etc/supervisor/supervisord.conf加上以下的项[inet_http_server]port=host_ip:9010这里的host_ip替换成具体的机器内网ip修改防火墙,开放9010端口3.增加/原创 2015-09-15 14:58:28 · 1439 阅读 · 0 评论 -
用maven2重写zookeeper客户端测试程序
之前的zk_client.java用一种很取巧的办法来编译和运行,把jar包解压放到当前目录下。这种办法不太好,也不美观。现在使用maven2重构整个代码。1.首先运行create_mvn_project.sh com.luoyan.zookeepertest zookeepertest,本质上是运行以下的命令:mvn archetype:generate \-Da原创 2015-09-07 11:51:04 · 1766 阅读 · 0 评论 -
全分布式模式下HBase安装过程
1.下载hbase-0.94.16.tar.gz,解压到hbase-0.94.16,建立hbase符号链接到hbase-0.94.162.在.bashrc配置环境变量HBASE_HOME=~/hbase/ PATH加上~/hbase/bin3.配置hbase/conf/hbase-env.sh,设置export JAVA_HOME=/usr/lib/jvm/java-7-openjdk原创 2015-09-07 11:44:27 · 441 阅读 · 0 评论 -
kafka使用初步
kafka是linkin开发的分布式消息队列。有点类似于百度的FIFO和cm-transfer1.下载最新版本wget http://apache.mirrors.hoobly.com/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz2.解压后,建立kafka的符号链接,指向解压后的文件3.接下去的操作步骤与https://kafka.apache.原创 2015-09-07 11:49:43 · 1681 阅读 · 0 评论 -
storm安装
1.zookeeper要用到,不过已经安装了2.安装zeromqwget http://download.zeromq.org/zeromq-2.1.7.tar.gz编译安装,这里有版本要求3.编译过程中要安装uuid等一些包4.安装JZMQgit clone https://github.com/nathanmarz/jzmq.git编译安装过程中也需要一些包。编原创 2015-09-07 11:46:51 · 1536 阅读 · 0 评论 -
ubuntu 12.04下的nginx+php安装和配置
1.apt-get install nginx安装nginx2.apt-get install php5-cli php5-cgi mysql-server php5-mysql安装php和mysql3.apt-get install spawn-fcgi安装spawn-fcgi,用来启动php-cgi4.修改/etc/nginx/sites-available/defau原创 2015-09-07 11:51:59 · 1597 阅读 · 0 评论 -
mysql的主从同步
以我的博客的wordpress数据库同步为例。1.搞一台服务器,apt-get install mysql-client mysql-server,设置mysql user root用户名,密码。2.修改配置/etc/mysql/my.conf对于主机:bind-address = 0.0.0.0server-id = 1log_bin = /var/log/mysql原创 2015-09-07 11:45:06 · 347 阅读 · 0 评论 -
thrift for java的使用
thrift是一套RPC协议和相关工具,有点像以前百度inf自己写的infpack。thrift在java语言环境,ubuntu 13.04下使用是这样的。1.安装依赖库apt-get install libboost-dev libboost-test-dev libboost-program-options-dev libevent-dev automake libtool f原创 2015-09-07 11:47:42 · 1963 阅读 · 0 评论 -
HIVE的安装
1.下载hive-0.12.0.tar.gz,解压,建符号链接hive到hive-0.12.02.在mysql中创建一个hive的database3.把hive/conf/下的hive-default.xml.template改成hive-site.xmljavax.jdo.option.ConnectionURLjdbc:mysql://hivemaster/hive?cha原创 2015-09-07 11:46:04 · 734 阅读 · 0 评论 -
java slf4j的用法
实际上slf4j只是日志的抽象接口,底层仍然需要与具体的日志相结合。这里选择log4j1.新建一个java工程。pom.xml中要加入如下内容log4jlog4j1.2.14org.slf4jslf4j-api1.6.0org.slf4jslf4j-log4j121.6.02.package com.luoyan.synt原创 2015-09-07 11:53:52 · 4741 阅读 · 0 评论 -
ubuntu 12.04 tomcat + jsp的入门
1.apt-get install tomcat6 tomcat6-docs tomcat6-examples tomcat6-admin tomcat6-common2.修改/var/lib/tomcat6/conf/tomcat-users.xml增加配置一个后台管理的用户fool3.通过sudo /etc/init.d/tomcat6 restart重启服务4.访问h原创 2015-09-07 11:54:40 · 1620 阅读 · 0 评论 -
maven使用初步
如果把ant比作Java的make,那么maven可以看作java的COMAKE,后者是百度开发的自动下载和编译以C++为主的基础库的工具,只要配置好需要的模块的版本,它会自动下载对应版本和依赖版本。默认情况下maven有一个中央仓库,只要配置好pom.xml,运行mvn compile时,maven会自动从中央仓库中下载依赖的java包。java包放在~/.m2/reposito原创 2015-09-07 11:48:54 · 1589 阅读 · 0 评论 -
zookeeper的安装
1.从官网下载zookeeper-3.4.5.tar.gz 与hadoop 1.2.1对应2.设置两台服务器zookeeper1 zookeeper2,修改/etc/hosts,解压到这两人台机器的/home/hadoop/zookeeper-3.4.53.把conf/zoo_sample.cfg拷贝成conf/zoo.cfg修改如下:tickTime=2000initLimi原创 2015-09-07 11:41:55 · 285 阅读 · 0 评论 -
redis安装过程
1.从官网下载redis,最新版本是redis-2.8.6.tar.gz解压,makemake install2.下载另外两个文件:wget https://github.com/ijonas/dotfiles/raw/master/etc/init.d/redis-serverwget https://raw2.github.com/ijonas/dotfiles/maste原创 2015-09-07 11:43:29 · 244 阅读 · 0 评论 -
第一个clojure 的hello world程序
clojure是一种可以在java虚拟机上运行的函数式编程语言。storm就是用clojure和java编写的。环境:ubuntu 12.041.apt-get install lein安装lein,leinigen是clojure的项目管理工具,类似于maven是java的项目管理工具一样。2.apt-get install clojure安装clojure的运行环境原创 2015-09-07 11:52:59 · 2074 阅读 · 1 评论 -
zookeeper 客户端编程的使用
1.理论上应该把zookeeper的代码的一部分剥离出来,作为zookeeper的客户端,不过实际上我没有找到,于是就直接用zookeeper的代码。2.编写zk_client.java文件,创建结点。3.使用javac -cp (相当于-classpath) zookeeper-3.4.5.jar 编译zk_client.java4.java -cp zookeeper-3.4.5.原创 2015-09-07 11:42:41 · 805 阅读 · 0 评论 -
javascript编译环境搭建
1. 安装nodejs作为js的编译和运行环境 wget https://nodejs.org/dist/v5.9.0/node-v5.9.0-x86.msi注意根据自己的机器环境下载32位或者64位的版本2. 安装npm,相当于js的rpm包管理工具git clone --recursive git://github.com/isaacs/npm.git 在node命令行中原创 2016-03-22 16:16:28 · 3068 阅读 · 0 评论