Java
文章平均质量分 55
翱翔的江鸟
转行萌新学习中
github地址:https://github.com/wxfghy
展开
-
windows7下java代码从远程hadoop服务上下载文件
1. 在windows7下无法下载远程hdfs服务上的文件 1. 问题原因 hadoop官方不支持windows平台,没有windows版本的hadoop,想在windows上运行hadoop很麻烦 官方下载的hadoop安装包中缺少两个文件hadoop.dll和winutils.exe,用于支持windows 2. 解决方法 下载hadoop安装包并解压缩到windows硬盘中,可...原创 2018-05-25 13:28:03 · 1483 阅读 · 0 评论 -
Java Web基础知识
MVC Model View Controller,模型(model)-视图(view)-控制器(controller) 用一种业务逻辑、数据、界面显示分离的方法组织代码,将业务逻辑聚集到一个部件里面,在改进和个性化定制界面及用户交互的同时,不需要重新编写业务逻辑 模型层: 负责模块数据的处理,实际开发时又分为两层(业务和持久),实体类javabean也在模型层 业务层se...原创 2018-07-19 10:41:40 · 406 阅读 · 0 评论 -
Java基础知识
1. 计算机基础知识 1.计算机的硬件分成5大组成部件:运算器、控制器、存储器、输入设备和输出设备 2.计算机软件按照其功能划分为系统软件与应用软件 计算机语言的分类: 机器语言 机器语言是直接用二进制代码指令表达的计算机语言,指令是用0和1组成的一串代码,它们有一定的位数,并分成若干段,各段的编码表示不同的含义 汇编语言 汇编语言是使用一些特殊的符号来代替机器语言的二进制码,计...原创 2018-07-09 15:38:33 · 347 阅读 · 0 评论 -
MapReduce简介和wordcount
MapReduce简介 WordCount MyMap MyReduce MyJob package com; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.ha...原创 2018-05-29 07:13:13 · 741 阅读 · 0 评论 -
CentOS7环境下NGINX的安装和简介
NGINX的安装 关闭防火墙 安装JAVA和TOMCAT, 并修改环境变量 安装软件 yum install -y gcc-c++ yum install -y pcre pcre-devel yum install -y zlib zlib-devel yum install -y openssl openssl-devel 在/usr/local下解压nginx安装包 使用目录下c...原创 2018-05-30 15:29:01 · 181 阅读 · 0 评论 -
Windows下idea中实现Hadoop本地测试功能
0. 目标 Hadoop默认没有windows版本 Hadoop集群部署在Linux虚拟机上, 通过idea编写的MR代码和输入文件要打包jar发送给Linux 为便于测试MR代码是否正确, 希望在idea上运行MR 1. 解压hadoop到windows硬盘中 https://blog.csdn.net/wxfghy/article/details/80450469 win...原创 2018-05-31 11:25:34 · 3131 阅读 · 0 评论 -
MapReduce练习之共同好友
0. 问题 通过mapreduce找出用户A,B,C…中每两个人所共同拥有的好友都有谁 输入文件 A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A...原创 2018-06-05 13:51:47 · 556 阅读 · 1 评论 -
MapReduce练习之Top k
1. 输入文件格式 algorithm,liuyifei,75,85,62,48,54,96,15 computer,huangjiaju,85,75,86,85,85 english,liuyifei,76,95,86,74,68,74,48 english,huangdatou,48,58,67,86,15,33,85 algorithm,huanglei,76,95,86,74,6...原创 2018-06-04 16:19:55 · 772 阅读 · 0 评论 -
MapReduce练习之倒排索引
0. 问题TF-IDF 实现统计多个文档中一个单词出现的频数和出现在哪个文档中 在map中读取当前文档的每一行数据,得到当前文档路径 mapkey(单词:文档路径),mapvalue(数值1) 在map端设置Combiner类(整合数据,减少向reduce端传输数据的网络开销) 将map的输出重新组合输出<单词,文档路径:单词频数> 输入文件为三篇txt英文文档 输出文件格式为 ...原创 2018-06-06 10:26:02 · 329 阅读 · 0 评论 -
HBase shell和Java基本命令
1. HBase shell 命令 功能 list 查看表,命名空间,命名空间下的表 scan 全表扫描 put 插入单行数据 get 读取数据 create 创建表,命名空间 drop 删除表,命名空间 2. HBase Java 初始化和关闭 Connection con; H...原创 2018-06-21 14:01:08 · 477 阅读 · 0 评论 -
Flume导入文本文件到HBase
1. 用Java编写自定义的序列化类,通过jar形式放入flume/lib中 自定义类MinputHbase, 实现接口HbaseEventSerializer, 重写其所有方法 package com; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.conf.C...原创 2018-06-22 15:44:38 · 1657 阅读 · 1 评论 -
正则表达式
1. Java中使用正则表达式 String line = "1-1,hello world"; Matcher m = Pattern.compile("^(.*,)(.*\\s)(.*)").matcher(line); if (m.matches()){ String num = m.group(1); String原创 2018-06-22 16:52:09 · 174 阅读 · 0 评论 -
MapReduce练习之二次排序
0. 运行环境 idea+hadoop 2.9.0 本地调试, 各个类分开写 输入文件格式如下,输出以字母分区,分区内部排序,也可以不分区,按ABC排序 A 1 B 2 C 7 A 9 A 4 C 5 B 1 B 9 1. MyJob主方法所在类 package com; import org.apache.hadoop.conf.Configuration; impo...原创 2018-05-31 16:16:37 · 567 阅读 · 1 评论 -
Java基本算法的实现代码
0. 一些简单的解释 选择排序 选择[1:-1]数组中的最小值,与索引0交换数值 选择余下[2:-1]数组中的最小值,与索引1交换数值 依次遍历余下部分的数组,直到交换所有数值 冒泡排序 只检查相邻两个元素的大小,按升序交换位置 为避免最后阶段的无效比较,加入布尔值判断是否有数据进行了交换,无交换直接跳出循环结束排序 为避免每次比较都要遍历全部数组,加入索引规定每次遍历的索引...原创 2018-07-18 15:14:56 · 2036 阅读 · 0 评论