Java
文章平均质量分 55
翱翔的江鸟
转行萌新学习中
github地址:https://github.com/wxfghy
展开
-
windows7下java代码从远程hadoop服务上下载文件
1. 在windows7下无法下载远程hdfs服务上的文件1. 问题原因hadoop官方不支持windows平台,没有windows版本的hadoop,想在windows上运行hadoop很麻烦官方下载的hadoop安装包中缺少两个文件hadoop.dll和winutils.exe,用于支持windows2. 解决方法下载hadoop安装包并解压缩到windows硬盘中,可...原创 2018-05-25 13:28:03 · 1486 阅读 · 0 评论 -
Java Web基础知识
MVC Model View Controller,模型(model)-视图(view)-控制器(controller)用一种业务逻辑、数据、界面显示分离的方法组织代码,将业务逻辑聚集到一个部件里面,在改进和个性化定制界面及用户交互的同时,不需要重新编写业务逻辑 模型层: 负责模块数据的处理,实际开发时又分为两层(业务和持久),实体类javabean也在模型层 业务层se...原创 2018-07-19 10:41:40 · 408 阅读 · 0 评论 -
Java基础知识
1. 计算机基础知识1.计算机的硬件分成5大组成部件:运算器、控制器、存储器、输入设备和输出设备 2.计算机软件按照其功能划分为系统软件与应用软件计算机语言的分类:机器语言 机器语言是直接用二进制代码指令表达的计算机语言,指令是用0和1组成的一串代码,它们有一定的位数,并分成若干段,各段的编码表示不同的含义汇编语言 汇编语言是使用一些特殊的符号来代替机器语言的二进制码,计...原创 2018-07-09 15:38:33 · 350 阅读 · 0 评论 -
MapReduce简介和wordcount
MapReduce简介WordCountMyMapMyReduceMyJobpackage com;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.ha...原创 2018-05-29 07:13:13 · 744 阅读 · 0 评论 -
CentOS7环境下NGINX的安装和简介
NGINX的安装关闭防火墙安装JAVA和TOMCAT, 并修改环境变量安装软件 yum install -y gcc-c++ yum install -y pcre pcre-devel yum install -y zlib zlib-devel yum install -y openssl openssl-devel在/usr/local下解压nginx安装包使用目录下c...原创 2018-05-30 15:29:01 · 182 阅读 · 0 评论 -
Windows下idea中实现Hadoop本地测试功能
0. 目标Hadoop默认没有windows版本Hadoop集群部署在Linux虚拟机上,通过idea编写的MR代码和输入文件要打包jar发送给Linux为便于测试MR代码是否正确, 希望在idea上运行MR1. 解压hadoop到windows硬盘中 https://blog.csdn.net/wxfghy/article/details/80450469 win...原创 2018-05-31 11:25:34 · 3133 阅读 · 0 评论 -
MapReduce练习之共同好友
0. 问题通过mapreduce找出用户A,B,C…中每两个人所共同拥有的好友都有谁输入文件 A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A...原创 2018-06-05 13:51:47 · 558 阅读 · 1 评论 -
MapReduce练习之Top k
1. 输入文件格式algorithm,liuyifei,75,85,62,48,54,96,15 computer,huangjiaju,85,75,86,85,85 english,liuyifei,76,95,86,74,68,74,48 english,huangdatou,48,58,67,86,15,33,85 algorithm,huanglei,76,95,86,74,6...原创 2018-06-04 16:19:55 · 773 阅读 · 0 评论 -
MapReduce练习之倒排索引
0. 问题TF-IDF实现统计多个文档中一个单词出现的频数和出现在哪个文档中 在map中读取当前文档的每一行数据,得到当前文档路径mapkey(单词:文档路径),mapvalue(数值1)在map端设置Combiner类(整合数据,减少向reduce端传输数据的网络开销)将map的输出重新组合输出<单词,文档路径:单词频数>输入文件为三篇txt英文文档输出文件格式为 ...原创 2018-06-06 10:26:02 · 330 阅读 · 0 评论 -
HBase shell和Java基本命令
1. HBase shell 命令 功能 list 查看表,命名空间,命名空间下的表 scan 全表扫描 put 插入单行数据 get 读取数据 create 创建表,命名空间 drop 删除表,命名空间2. HBase Java初始化和关闭 Connection con; H...原创 2018-06-21 14:01:08 · 479 阅读 · 0 评论 -
Flume导入文本文件到HBase
1. 用Java编写自定义的序列化类,通过jar形式放入flume/lib中自定义类MinputHbase, 实现接口HbaseEventSerializer, 重写其所有方法package com;import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.conf.C...原创 2018-06-22 15:44:38 · 1658 阅读 · 1 评论 -
正则表达式
1. Java中使用正则表达式String line = "1-1,hello world";Matcher m = Pattern.compile("^(.*,)(.*\\s)(.*)").matcher(line);if (m.matches()){ String num = m.group(1); String原创 2018-06-22 16:52:09 · 176 阅读 · 0 评论 -
MapReduce练习之二次排序
0. 运行环境idea+hadoop 2.9.0 本地调试, 各个类分开写输入文件格式如下,输出以字母分区,分区内部排序,也可以不分区,按ABC排序 A 1 B 2 C 7 A 9 A 4 C 5 B 1 B 91. MyJob主方法所在类package com;import org.apache.hadoop.conf.Configuration;impo...原创 2018-05-31 16:16:37 · 568 阅读 · 1 评论 -
Java基本算法的实现代码
0. 一些简单的解释选择排序选择[1:-1]数组中的最小值,与索引0交换数值选择余下[2:-1]数组中的最小值,与索引1交换数值依次遍历余下部分的数组,直到交换所有数值冒泡排序只检查相邻两个元素的大小,按升序交换位置为避免最后阶段的无效比较,加入布尔值判断是否有数据进行了交换,无交换直接跳出循环结束排序为避免每次比较都要遍历全部数组,加入索引规定每次遍历的索引...原创 2018-07-18 15:14:56 · 2037 阅读 · 0 评论