- 博客(25)
- 资源 (10)
- 收藏
- 关注
原创 hadoop2.xWordCount执行过程-客户端部分
如下展示wordCount程序的部分: public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRe
2016-03-28 17:50:37 512
原创 使用Docker搭建hadoop集群
使用Docker搭建hadoop集群 参考文档:http://blog.mymusise.com/?p=1501.准备工作1.1下载软件下载一些相关的文件: jdk-8u60-linux-x64.tar.gz hadoop-2.7.0.tar.gz由于hadoop官方提供的hadoop版本是32位的,如果在64位的系统上运行需要编译下,这里提供一个编译好的64位的hadoop
2016-02-23 11:46:09 2207
原创 Ubuntu配置源
Ubuntu配置源sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak #备份sudo vim /etc/apt/sources.list #修改sudo apt-get update #更新列表ubuntu 15.04的源网易163更新服务器(广东广州电信/联通千兆双线接入):deb http://mirrors.163.com/ubu
2016-02-21 09:24:00 636
原创 IK Analyzer中文分词器
IK Analyzer中文分词器本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl +
2015-12-08 11:04:40 486
转载 Git使用(下)
Git使用(下)1、比较提交-Git Diff1.1、比较提交-Git Diff你可以用git diff来比较项目中任意两个版本的差异git diff master..test上面这条命令只显示两个分支间的差异,如果你想找出“master”,“test”的共有父分支和“test”分支之间的差异,你用3个’.’来取代前面的两个’.’git diff master...testgit diff是一个难以
2015-12-07 11:47:03 361
转载 git使用(上)
Git使用1、Git配置使用Git的第一件事就是设置你的名字和email,这些就是你在提交commit时的签名,每次提交记录里都会包含这些信息。git config --global user.name "XXX"git config --global user.email "XXX@gmail.com"执行了上面的命令后,会在家目录(/home/lxz)下建立一个叫.gitconfig的文件(该
2015-12-07 10:45:37 360
原创 Ubuntu安装SSTP
Ubuntu安装SSTP进入页面http://sourceforge.net/projects/sstp-client/files/ 下载如下安装包 在sstp-client文件夹中下载64位安装包 sstp-client_1.0.10-0ubuntu3_amd64.deb libsstp-client0_1.0.10-0ubuntu3_amd64.deb在network-manage
2015-12-05 15:35:04 3154
原创 SSH无密码登录
Ubuntu下SSH无密码登录首先安装sshsudo apt-get install openssh-server查看ssh是否启动ps -e|grep ssh若没有启动则使用如下命令启动sshsudo /etc/init.d/ssh start创建密钥ssh-keygen -t rsassh-keygen -t dsa将密钥保存到公钥中cat ~/.ssh/id_rsa.pub >> ~/.ss
2015-12-04 17:19:46 314
原创 试题推荐系统
时间:2015-6-17要求:做一个试题推荐系统。该系统试题库约有5w道试题,用户量大约为100多w。该系统首先要有一个良好的推荐功能,其次要有易扩展、低延迟的特性。架构:目前拟定采用Kafka+Storm+Hadoop+HBase+Redis的架构模式做一个模型版本。其中Kafka用来做日志收集系统,Storm用来做实时处理系统,Hadoop用来做批处理系统,HBase用来做持久化,Redis用来
2015-06-17 10:38:25 2533 3
原创 kafka集群搭建
Kafka集群搭建背景说明要搭建的Kafka是目前最新版本的0.9.4版本。 在搭建Kafka之前要搭建Zookeeper,这里Zookeeper之前已经搭建好了,这里就不在赘述了。 搭建一台三个主机的集群环境 集群环境为: ip responsibility 192.168.192.101 master 192.168.192.102 slave1 192.168.
2015-06-17 10:18:20 411
原创 hbase伪分布式搭建
下载hbase-0.94.16.tar.gz并解压到/home/hadoop/hbase 修改系统配置文件vim /etc/profile 保存并退出,然后source /etc/profile 修改hbase配置文件 修改/home/hadoop/hbase/hbase-0.94.16/conf/hbase-env.sh文件,在最后一行添加如下配置: 添加export HBA
2015-04-13 19:21:00 445
原创 org.apache.hadoop.hdfs.server.namenode.safemode.exception
遇到的问题: 解决办法:./hadoop dfsadmin -safemode leave
2015-03-20 14:57:51 626
原创 org.apache.hadoop.security.accessControlexception.permission denied
配置eclipse连接hadoop时可能会出现权限问题: 我们需要修改hdfs-site.xml文件,在其中添加权限:<property> <name>dfs.permissions</name> <value>false</value></property>
2015-03-20 14:54:34 449
原创 Hadoop环境搭建
Hadoop有三种环境:单机模式、伪分布式、完全分布式。由于资源有限,所以这里搭建一个伪分布式环境。 不多说直接上手:1 SSH建立等效用户Hadoop本是建立在分布式环境下的,不同的节点之间相互通信是要建立SSH等效用户的。虽然在这里搭建的是伪分布式环境,但是Hadoop环境也要求建立ssh等效用户。 通过命令ps -e|grep ssh可以查看是否有ssh进程在运行。 命令ssh-ke
2015-03-12 16:56:04 544
原创 R语言学习-实例一
一个综合性实例(来自炼数成金)模拟产生统计专业同学的名单(学号区分),记录数学分析,线性代数,概率统计三科成绩,然后进行一些统计分析 先简单介绍几个函数: 正态分布函数rnorm() 泊送分布函数rpois() 指数分布函数rexp() Gamma分数函数rgamma() 均匀分布函数runif() 二项分布函数rbinom() 几何分布函数rgeom()1 建立学生名单> num<
2015-03-09 11:08:12 5265
原创 kNN算法
kNN算法即k-临近算法。算法工作原理k-近邻算法的一般流程(1)收集数据:可以使用任何方法 (2)准备数据:距离计算所需要的数值,最好是结构化的数据格式 (3)分析数据:可以使用任何方法 (4)训练数据:此步骤不适用于k-近邻算法 (5)测试算法:计算错误率 (6)使用算法:首先需要输入样本数据和结构化的输出结果,然后运行k-近邻算法判定输入数据分别属于哪个分类,最后应用对计算出的分类执
2015-03-08 16:46:56 561
原创 R语言入门(三)
图形初阶这篇就先从一个示例开始,然后逐步介绍图形的各个参数的使用吧。一个简单的例子直接上示例了,这个还是比较容易读懂的> age<-c(5,10,15,25,30)> height<-c(80,120,160,175,176)> plot(age,height,type="b")#选项type="b"表示同时绘制点和线。所绘出来年龄和身高的图形如下: 这只是一个简单的图形,有时候我们需要定
2015-03-04 17:15:25 504
原创 R语言入门(二)
R语言入门(二)今天看到一个好的系列博客,在此推荐:http://blog.fens.me/series-r/ 这部分主要介绍R语言的几种数据结构。R语言的数据结构为向量、矩阵、数组、数据框、列表。向量向量主要是用来存储数值型(1,2,3)、字符型(“abc”,“efg”)或者逻辑型(true、false)数据的一维数组。我们可以用函数c()来创建向量。如下:> a<-c(1,2,3,3,4,5)
2015-03-04 15:54:43 864
原创 数据分析--入门
数据分析–入门数据分析主要分为以下几个步骤: 1.确定问题 确定问题可以采用问卷调查的方式,咨询执行官,获取销售业绩数据等多种方式。然后对数据进行归纳总结,其中会遇到的问题是,我们常常会困于自己的心智模型之中,良好的分析有助于我们突破心智模型。 2.分解问题 3.评估问题 4.做出决策本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Mar
2015-03-02 11:42:14 445
原创 redis主从复制失败no route to host
当配好主从redis之后,经常会发现,slave无法连接上master。我们使用命令:redis-cli -h 192.168.205.100(master的IP) -p 6379(master的端口号),如果连不通会出现no route to host(如下图所示,这个是从日志文件里面截出来的),这时我们要查看防火墙,很有可能是防火墙屏蔽了redis的服务了。使用iptables -L查
2014-10-07 21:03:49 5202
原创 关于java中the jar file C:\program files\java\jar7\lib\rt.jar has no sourse attachment
1.点 “window“-> “Preferences”-> “Java” -> “Installed JRES”;2.此时"Installed JRES"右边是列表窗格,列出了系统中的JRE 环境,选择你的JRE,然后点边上的“Edit...“, 会出现一个窗口(Edit JRE) ;3.选中rt.jar文件的这一项:“C:\Java\jdk1.5.0_04\jre\lib\rt.jar
2014-02-23 14:50:36 1927 1
转载 PHP Notice: Undefined index: ... 问题的解决方法:
转载声明:载自http://www.mycodes.net/74/2360.htm首先,这个不是错误,是warning。所以如果服务器不能改,每个变量使用前应当先定义。 方法1:服务器配置修改 修改php.ini配置文件,error_reporting = E_ALL & ~E_NOTICE 方法2:对变量进行初始化,规范书写(比较烦琐,因为
2014-02-22 16:15:56 449
硬件综合EEPROM器件读写例程设计 武汉理工
2013-07-03
数字显示与键盘输入例程设计 武汉理工
2013-07-03
校园网络系统集成方案的综合设计 武汉理工
2013-07-03
进程调度模拟设计 武汉理工
2013-07-03
武汉理工 简易银行卡管理系统的开发 软件工程
2013-07-02
IF-ELSE条件语句的翻译程序设计(递归下降法、输出三地址表示)
2013-07-02
八进制数和十进制数相互转换
2013-01-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人