- 博客(30)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 使用Hadoop命令行执行jar包详解（生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地）
目录(?)[-]一Eclipse中生成jar包二将本地文件上传至dfs文件系统三执行jar包四本地文件的查看及下载至本地在之前一篇：Eclipse中使用Hadoop单机模式开发配置及简单程序示例，我们讲了如何在eclipse配置文件信息以及如何执行Map/Reduce程序，本篇基于这篇文章的代码总结一下使用hadoop命令行执行jar包的流程，主要包括生成jar、将本地文件上传至d
2017-12-29 19:37:15
1473
转载 Ubuntu 16.04 安装网易云音乐
由于刚刚安装了网易云音乐所以对于遇到的问题进行啦相应的解决主要是依赖关系问题的配置问题网易云音乐下载地址http://music.163.com/#/download 1进入以后选择相应的版本下载进入下载目录然后在终端打开： 查看相应的列表： elijah@Elijah-Th:~$ cd ~/下载/ elijah@Elijah-Th:~/下载$ ls123执行以
2017-12-28 22:54:52
683
转载 hadoop中使用MapReduce编程实例
原文链接：http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html从网上搜到的一篇hadoop的编程实例，对于初学者真是帮助太大了，看过以后对MapReduce编程基本有了大概的了解。看了以后受益匪浅啊，赶紧保存起来。 1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数
2017-12-28 19:34:12
1384
转载 MapReduce原理与设计思想
简单解释 MapReduce 算法一个有趣的例子你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃？MapReduce方法则是：给在座的所有玩家中分配这摞牌让每个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你你把所有玩家告诉你的数字加起来，得到最后的结论拆分MapReduce合并了两种经典函数：映射（Mapping）对集合里的
2017-12-28 14:12:09
388
转载 Hadoop学习笔记（4）－Eclipse下搭建Hadoop2.6.4开发环境并写wordcount
0.前言本文参考博客：http://www.51itong.net/eclipse-hadoop2-7-0-12448.html搭建开发环境前保障已经搭建好hadoop的伪分布式。可参考上个博客： http://blog.csdn.net/xummgg/article/details/511730721.下载安装eclipse下载网址：http://www.eclipse.
2017-12-27 22:46:37
297
转载 Hadoop2.6安装配置以及整合Eclipse开发环境
在Ubuntu14.04上安装Java和Hadoop环境Java安装的是/usr/lib/jvm/jdk1.7.0_721.下载，2.使用sudo创建jvm文件夹，并且cp3.解压tar–zxvf4.sudochown -R castle:castle hadoop-2.6.0修改权限5.配置环境变量~/.profile中也可以在~/.bashrc中添加#setja
2017-12-27 20:30:57
496
原创 hadoop的文件的配置
core-site.xml 文件配置 fs.defaultFS hdfs://master:9000 hadoop.tmp.dir file:/home/hadoop/hadoop/tmp
2017-12-27 20:10:53
203
转载 Hadoop2.7.3完全分布式集群搭建和测试
这几天在学习Hadoop相关的东西，前些时候，搭建了单机和伪分布式的集群。但是在搭建完全分布式集群的时候遇到很多问题，网上找到很多文章，感觉都有些差别，因此，再次汇总一下，把我的详细的搭建过程记录下来。参考了很多篇文章：http://www.w2bc.com/Article/19645 http://blog.csdn.net/
2017-12-27 19:57:48
270
转载 Hadoop入门基础教程 Hadoop之完全分布式环境搭建
开发环境硬件环境：CentOS 6.5 服务器4台（一台为Master节点，三台为Slave节点）软件环境：Java 1.7.0_45、hadoop-1.2.11、 集群拓扑图我们使用4台机器来搭建Hadoop完全分布式环境，4台机器的拓扑图如下图所示：Hadoop集群中每个节点的角色如下表所示：2、 配置SSH环境准备下面以配置K-Ma
2017-12-27 19:55:03
197
转载 一步步教你Hadoop多节点集群安装配置
1、集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色：
2017-12-27 19:53:18
286
转载 Linux下Hadoop2.7.1集群环境的搭建（超详细版）
本文旨在提供最基本的，可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建，对自己是个总结和整理，也能方便新人学习使用。一、基础环境在Linux上安装Hadoop之前，需要先安装两个程序：1.1 安装说明1. JDK 1.6或更高版本（本文所提到的安装的是jdk1.7）;2. SSH(安全外壳协议)，推荐安装OpenSSH。 下面简述一下安装
2017-12-27 19:50:13
274
转载 【Hadoop】搭建完全分布式的hadoop
用于测试，我用4台虚拟机搭建成了hadoop结构我用了两个台式机。一个xp系统，一个win7系统。每台电脑装两个虚拟机，要不然内存就满了。 1、安装虚拟机环境 Vmware，收费产品，占内存较大。 或 Oracle的VirtualBox，开源产品，占内存较小，但安装ubuntu过程中，重启会出错。 我选Vmware。 2、安装
2017-12-27 19:47:33
243
1
转载 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop
2017-12-27 19:43:32
225
转载 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hado
2017-12-23 23:04:47
206
转载 POI使用详解 Apache POI使用详解
1.POI结构与常用类(1)POI介绍 Apache POI是Apache软件基金会的开源项目，POI提供API给Java程序对Microsoft Office格式档案读和写的功能。 .NET的开发人员则可以利用NPOI (POI for .NET) 来存取 Microsoft Office文档的功能。(2)POI结构说明 包名称说明HSSF提供读写Microsof
2017-12-20 21:16:02
1065
转载 Apache POI HSSF读写Excel总结
博客分类： Apache POIApacheExcelJavaHTML Apache POI HSSF和XSSF读写EXCEL总结 HSSF是指2007年以前的,XSSF是指2007年版本以上的 这个还是比较好用的,这些总结来自Apache的官方向导的点点滴滴 还有好多没有没有写的，详细的请参考http://poi.apache.org/spreadsheet/
2017-12-20 20:50:26
212
转载 Java中导入、导出Excel
一、介绍当前B/S模式已成为应用开发的主流，而在企业办公系统中，常常有客户这样子要求：你要把我们的报表直接用Excel打开(电信系统、银行系统)。或者是：我们已经习惯用Excel打印。这样在我们实际的开发中，很多时候需要实现导入、导出Excel的应用。目前，比较常用的实现Java导入、导出Excel的技术有两种Jakarta POI和Java Excel下面我就
2017-12-20 20:15:35
213
转载 Ubuntu 16.04下安装SQL Server for Linux
微软刚宣布了下一代 SQL Server 的公开预览，Canonical 也正式宣布此预览版本可用于 Ubuntu 系统。无论是在内部部署还是在云端使用，SQL Server on Ubuntu 都为开发人员和组织提供了更为自由的选择。SQL Server 所允许的开发语言和数据类型，也成为可以向市场提供最创新和灵活的平台之一。在下一代 SQL Server 中，微软为 Linux 和 W
2017-12-19 23:35:37
1962
1
转载 庖丁解牛分词工具使用教程
今天想测试一下“庖丁”分词的效果，编写了一个测试小程序，从文件中读入文本，并将分词结果显示到控制台。 环境平台：Win7+eclipse过程如下：1.编辑paoding-analysis.jar中的paoding-dic-home.properties文件，去掉“#paoding.dic.home=dic”前面的#号，并将等号后面的dic改为dic文件夹在你本地存放的具体路劲，
2017-12-18 17:44:53
669
转载 测试庖丁解牛分词工具
因为笔者要在MapReduce中进行中文分词解析数据，所以测试了一下庖丁解牛中文分词器（paoding-analysis-2.0.4-beta）。现将使用过程小结：下载地址：http://pan.baidu.com/s/1eQ88SZS个人环境：linux+eclipse使用分为如下几步：1. 配置dic文件：修改paoding-analysis.jar中的paoding-di
2017-12-18 17:11:53
347
转载 SQL SERVER 中的行列转换小结
1. 介绍说明前段时间组内的小伙伴在升级维护项目中，经常涉及一些复杂的数据转换问题，让我去看下有些地方怎么处理，我发现好多都是涉及到行列转换的问题，处理起来经常会比较麻烦，借此也总结一下，方便以后的查阅使用。该总结参照了网上的一些资料，也做了一些变动，如有更好的方法也欢迎指出。演示的脚本见 3.测试数据脚本 2. 例子演示2.1 实现行转列(1) Cas
2017-12-13 23:09:13
315
转载 ubuntu 14.04 安装 eclipse
在安装 eclipse 之前必须先安装 jdk1. 卸载默认的 jdk，以防安装出错1sudo apt-get purge openjdk*2. 安装 jdk1.8.0_111下载jdk1.8.0_111 , 选择合适的版本，jdk-8u111-linux-x64.tar.gz 地址：
2017-12-13 11:41:21
267
转载 Ubuntu 16.04安装Eclipse
Ubuntu 16.04安装Eclipse1.下载jdk , jdk-8u77-linux-x64.tar.gz2.下载 eclipse, eclipse-jee-mars-2-linux-gtk-x86_64.tar.gz注：我下载的都是64位的，因为我的系统是64位系统3.将jdk解压到 /opt/jvm/文件夹中操作步骤：sudo mkdir /opt/jvmsu
2017-12-13 11:28:01
3063
转载 Ubuntu 16.04下安装Tomcat 8.5.9
为大家讲解Ubuntu 16.04下安装Tomcat 8.5.9的过程步骤，希望能对你有所帮助。在Windows下，到官网下载tomcat8.5.9，选择格式为tar.gz，如下图所示： 通过ftp将下载的tomcat8.5.9压缩包上传到ubuntu服务器，配置VSFTPD可以参看《Ubuntu 16.04下vsftpd 安装配置实例》http://
2017-12-13 11:01:39
284
转载 Ubuntu 安装 JDK 7 / JDK8 的两种方式
ubuntu 安装jdk 的两种方式:1:通过ppa(源) 方式安装.2:通过官网下载安装包安装.这里推荐第1种,因为可以通过 apt-get upgrade 方式方便获得jdk的升级使用ppa/源方式安装1.添加ppasudo add-apt-repository ppa:webupd8team/javasudo apt-get update2.安装ora
2017-12-13 10:13:21
193
转载 爬虫从入门 之 关于深度优先和广度优先
网站的树结构深度优先算法和实现广度优先算法和实现网站的树结构通过伯乐在线网站为例子： 并且我们通过访问伯乐在线也是可以发现，我们从任何一个子页面其实都是可以返回到首页，所以当我们爬取页面的数据的时候就会涉及到去重的问题，我们需要将爬过的url记录下来，我们将上图进行更改 在爬虫系统中，待抓取URL队列是很重要的一部分，待抓取URL队列中的URL以什么
2017-12-10 18:14:22
3869
转载 网页抓取jsoup
解析和遍历一个HTML文档如何解析一个HTML文档：复制代码 代码如下:String html = "First parse" + "Parsed HTML into a doc."; Document doc = Jsoup.parse(html); 其解析器能够尽最大可能从你提供的HTML文档来创见一个干净的解析结果，无论HTML的格式是否完整。
2017-12-10 17:32:21
179
转载 使用JAVA爬取网页图片
经过之前的HttpURLConnection还有各种流的结束，已经可以开始理解怎么下载网页上的一张图片了。对各种流不理解的话，可以翻翻前面的随笔，讲得都比较详细。在此就不细讲了。主要流程：1、HttpURLConnection连接上图片的网址，打开一个InputStream。2、把InputStream的内容读取到ByteArrayOutputStream中，此时B
2017-12-10 15:49:43
8508
转载 Ubuntu防火墙安装和配置
Ubuntu安装UFW防火墙sudo apt-get install ufw 一般用户，只需如下设置：sudo apt-get install ufw sudo ufw enable sudo ufw default deny 以上三条命令已经足够安全了，如果你需要开放某些服务，再使用sudo ufw allow开启。启用sudo ufw enable sud
2017-12-06 11:20:02
391
转载 Unity 3D 控制物体前后左右均匀移动脚本
function Update () { if(Input.GetKey(KeyCode.W)){ print("w"); transform.Translate(Vector3.forward * Time.deltaTime * -20); } if(Input.GetKey(KeyCode.S)){ print("s")
2017-12-03 18:51:37
4273
DBScan算法.cpp
2020-07-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人