- 博客(29)
- 收藏
- 关注
RSS订阅原创 MapReduce数据清洗之日期类型的数据
首先就是上题目这里的需要处理的源数据，有一个日期类型的数据和Sring类型的数据，这里的题目要求是让我们用日期函数来处理源数据得到以下的数据首先就是你得清楚。这个Date类和Calendar他们究竟是谁，他有什么用，到底该怎么用，这里我在这里就不诉说了，不会的可以去查查其他大佬关于这两个类介绍的文章在进行代码书写之前我先是要介绍一下我这里解决这个问题的思路吧，我解决这个问题的思路，就是先将源数据转化为数组，然后我读取源数据的日期这边的数据，规定好读取的格式，读进来的是Date格式，然后我Date格式
2020-09-15 21:08:59
1390
原创 清洗实操4
题目详述这个题目的源数据还是依旧是我们清洗实操3的源数据这个和之前的所谓的清洗实操3，相比，多出了更改json格式的数据，之前我有过在更改天气格式的数据有过介绍，具体的博客是https://blog.csdn.net/qq_45683188/article/details/108606626这里的话就是将清洗实操3的思路和那个网址的博客的思路结合起来，这里还是设了个方法public Text text2(String line){ JSONObject jsonObject=
2020-09-15 20:29:19
153
原创 MapReduce清洗实操3
首先就是上题目首先就是看一下源数据和处理后的数据发生了那些变化，这里我们发现，就是他们日期格式发生了变化现在我们需要思考的问题就是怎么样才能让他的日期格式发生变化，首先需要明白的是，我们处理的是什么呢，是字符串类型的数据，虽然他的格式是json格式的，但是归根结底还是还是字符串String类型的数据，在String中是否有方法能够有让其发生变化呢。对String类熟悉的人都知道String类中有两个方法能够实现字符的替换，replace和replaceAll方法，不知道给我查api啊replace方
2020-09-15 20:11:51
275
原创 MapReduce规定天气数据并其输出4
紧接上一篇内容上一篇我们在map阶段所使用的思路是用JsonObject中的getStirng的方法，然后得到了他们对应的值，然后我们用再用Stringbuffer这个类的一些功能，使用循环，然后让这些获得的字符串，然后进行拼接，最后得到指定数据现在让我们尝试换种思路，就是我们不用StringBuffer的方法，我们直接就是用String字符串的相加要想实现这个思路，我们肯定是要借助我们的for循环来实现字符串的拼接，这里有个问题就是你的循环的主体是谁，这时候就要考虑，我们取出开的是什么，每一个jso
2020-09-15 19:31:06
117
原创 MapReduce的另一实例，给天气预报数据规范格式并且输出3
这里主要还是讲解之前说的问题的第二个思路，上一个思路主要是将json格式的数据转化为了map的形式，然后重写map中的toString方法，规范他们的输出格式这就相当于是一个间接的方法，当然在此时我们就得想想，有没有什么直接的思路和方法，对于这个问题而言就是如果我们用直接的思路，无非就是化繁为简，所谓的化繁为简及我这里就是给他的转换。将陌生的转化为我们熟悉的，在熟悉的领域中解决问题json格式的数据，我们是比较陌生的，作为一个小白而言，这个确实是比较陌生的，但是我们熟悉的是什么呢，是字符串，所以这里就是
2020-09-10 18:18:06
175
原创 MapReduce的另一实例，给天气预报数据规范格式并且输出2
在我的上一篇博客中，我是将一个天气数据处理为了一个json格式的数据具体的博客内容如下https://blog.csdn.net/qq_45683188/article/details/108415084那我们想一想，能不能就是我们再把json格式的数据转化为普通类型的数据，听起来还是比较让人感到这样是不是有病啊，为什么不用原来的数据，偏要转过来又转过去，对于开发而言，这样做确实有病，但是对于我们这些正在学习的海洋里学习的小白来说，更能掌握一个新的知识，好了废话少说，上正菜了对于这个将json格式转
2020-09-07 18:23:54
259
原创 MapReduce中文乱码的情况的妥善解决
对于MapReduce处理来说，都是处理本机或者服务器里面的文件，源文件的编码可能是gbk或者是其他但是对于hadoop而言，他将编码给规范死了，就是utf-8，这个时候我么就需要进行编码之间的转换了具体怎么做呢加上一下这行代码， String line = new String(value.getBytes(),0,value.getLength(),“GBK”);这行代码的就是将你的读进来的数据都用gbk的编码读进来，然后就是在map方法中转化为utf-8的格式，这里需要注意的是你这行代码
2020-09-05 10:36:12
638
原创 MapReduce的另一实例，给天气预报数据规范格式并且输出
题目如图所示具体处理的数据如下之前我写过一个MapReduce的词频统计实例https://blog.csdn.net/qq_45683188/article/details/108365335没有印象的朋友请看搜上面网址词频统计的思路是在map阶段，将你的单词一个个的按照空格分开然后形成hello-1和word-1的这样的形式，然后我们redece阶段再把它给加起来，这是一个大致的词频统计的思路到了这个案例呢，我们发现，他并不是没有将数据相加，而是将这行数据进行处理，形成格式上的改变，相
2020-09-05 10:18:12
331
原创 MapReduce的代码中关于Hadoop常见的错误
MapReduce的完整运行是要靠Hadoop的正确安装的接下来就是简单的介绍一下我在编写MapReduce程序的时候遇见的关于hadoop的错误首先就是安装的问题，安装的话，这个就是注意你的配置环境变量问题如果你的环境变量存在问题他就可能会报Failed to locate the winutils binary in the hadoop binary path这样的错误这里的话，引进一个大佬的文章，教你如何完美的解决这个问题https://blog.csdn.net/abc50319/a
2020-09-03 20:24:55
301
原创 MaReduce阶段如何解决Output directory already exists错误
在MapReduce的程序中，如果我们要是想要在本地运行。我们是要设置输出和输入路径的，对于输出路径而言，这个是相对于输入路径而言还是比较讲究的，首先这个路径得是个文件夹，而且这个文件夹里面是不能有任何东西的，只要是存在一个东西都会直接报错import java.io.IOException;public class Driver { public static void main(String[] args) {//设置输入和输出的路径 args=new Str
2020-09-03 19:40:09
962
原创 MapReduce实例，词频统计，如何在idea上运行，并且能再本地测试
词频统计，作为大数据中数据分析的一个基本代码现在在csdn中大部分的文章都是说如何用eclipse写的代码，而且绝大部分都没有如何介绍在本地运行，都是放在服务器运行，作为一个刚接触数据分析的萌新，而且对idea有着很深的执念的我而言，写这个简单的小程序，还想让这个程序能够在本地上运行，在写的时候就是困难很多废话少说了，现在正是进入主题我这里介绍的主要是用idea的maven来进行写词频统计，利用maven主要是为了帮助我们下需要用的jar包，这样就不用我们费心去找jar包了，而且找错了，也是件非常.
2020-09-03 18:58:17
2724
2
原创 css高级特性
1.CSS复合选择器：复合选择器是由两个或多个基础选择器通过不同的方式组合而成的标签指定式选择器：又称交集选择器，由两个选择器构成，其中第一个选择器为标记选择器，第二个为class选择器或id选择器。两个选择器之间不能有空格。后代选择器：后代选择器用来选择元素或元素组的后代，其写法就是把外层标记写在前面，内层标记写在后面，中间用空格分隔。并集选择器：并集选择器是各个选择其通过逗号连接而成的...
2019-12-15 18:21:03
217
原创 入门·css
1.CSS样式规则：选择器{属性1：属性值1；属性2：属性值2；属性3：属性值3；}引入CSS样式表：行内式：<标记名 style=“属性1：属性值1；属性2：属性值2；属性3：属性值3；”>内容</标记名>内嵌式<head><stype type="text/css"></head>1选择器{属性1：属性值1；属性2：属...
2019-12-12 19:20:42
103
原创 二维数组
在这里先介绍一下简单的简化代码的方式for (int i = 0; i < a.length; i++) {System.out.println(a[i]);}你就可以简化为int[] a = { 20, 44, 52, 64, 33, 654, 76 };for (int i:a) {System.out.println(a[0]);}这样的写法更加简单，i就表示这个集合...
2019-12-02 23:01:44
475
原创 HTML基础知识
1 什么是HTML？HTML 指的是超文本标记语言 (Hyper Text Markup Language)。不是一种编程语言，而是一种标记语言，标记语言是一套标记标签，HTML 使用标记标签来描述网页。2 HTML标签HTML 标签是由尖括号包围的关键词，比如 ； 标签通常是成对出现的，标签对中的第一个标签是开始标签，第二个标签是结束标签。标签分类：双标签html <标...
2019-12-01 11:04:34
177
原创 冒泡排序，选择排序和插入排序
排序算法这里先介绍一个冒泡算法算法解析所谓“冒泡排序”，可以从名称上理解。“冒泡”实际上就是指把值更大的元素放到数列的后面来（如果是从大到小排列，则反之），好像是这个元素“浮”了过来。看一下冒泡排序的详细步骤：比较相邻的元素。如果第一个比第二个大，就交换他们两个。对每一对相邻元素做同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该会是最大的数。针对所有的元素重复以上...
2019-12-01 10:32:49
200
原创 数组
数组数组是一种最简单的复合数据类型，是一组同类型的有序数据的集合，（类型；每个数据的元素类型）数组中的一个数据成员称为数组元素，可以用一个统一的数组名和下标唯一确定根据数组的下标是一个或多个，把数组分为一维数组和多维数组一维数组用代码进行了解int a[];int [] b;//以上两个简单的代码都是对于整形数值的声明，建议使用第二种声明数值确定数组的大小。这个确定数组的大小也就是...
2019-11-27 20:40:21
162
原创 递归算法
计算机科学的新学生通常难以理解递归程序设计的概念。递归思想之所以困难，原因在于它非常像是循环推理（circular reasoning）。它也不是一个直观的过程；当我们指挥别人做事的时候，我们极少会递归地指挥他们。Introduction递归算法是一种直接或者间接调用自身函数或者方法的算法。递归算法的实质是把问题分解成规模缩小的同类问题的子问题，然后递归调用方法来表示问题的解。递归算法对解决...
2019-11-20 22:35:38
123
原创 静态方法和非静态
static表示静态的。他需要常驻内存，一直占用内存，无法进行垃圾回收，需慎用，他在那种情况适用呢？不管哪个对象调用，结果都是一样的（这个结果的一致指的是你输出的数据图案的一致性等等），调用可直接用类名字调用，不许要变量名了。和对象就没有关系了。之前所说的对象是是Java中所面对的东西，也就是你要用程序解决问题的哪一个，Java是面对对象的语言，建立方法最好是单独定义一个类，类里面存在共同...
2019-11-20 22:33:55
170
原创 Java方法的设置及调用
方法的作用为实现代码的重复使用定义方法方法能够减少自己的工作量，方法的分为两个部分，一个部分是方法的头部，另外一个是方法体方法的头部由修饰符，返回值类型，方法名，参数列表，修饰符，这个与你在开始的时候定义的方法有关，public static void main(String[] args) { 如这个语句，你在这个方法之内定义的方法的修饰符就得是static（就是调用static方法...
2019-11-17 10:35:43
305
原创 循环程序break，和continue，循环的嵌套
Break语句应用于循环中的作用为终止循环，然后输出结果，多用于判断循环。判断是否为素数（面对只是判断的循环，注意使用break语句）public static void main(String[] args) { System.out.println("请输出大于1的数"); int x; boolean t=true; Scanner scanner=new Scanner(Sys...
2019-11-13 22:02:41
822
原创 循环
循环语句；用于在程序中某一段程序被重复运行,也就是使某段代码重复运行，最简单的代表便是n个数的加成。While语句（又称当循环），特点是先判断条件，后执行这里需要强调一些注意的地方：在使用这个while语句布尔表达式就是你的条件，条件成立会出现什么语句，不成立又会出现什么写循环语句之前你就必须要明确你的条件该怎么写，重复的语句（循环体）该怎么写。循环一定要明确控制在在某个时刻是你设的条...
2019-11-13 21:46:00
97
原创 程序的流程控制
程序的流程控制（流程就是程序的执行步骤）分支语句分为条件语句和多分支语句1．条件语句 if-elseif(boolean-expression)（）是指出条件，属于布尔型的变量（）后面切记没有分号 statement1; [else statement2;] （）后面跟的是{}，{}里面是要被执行的语句，2．多分支语句 switch接下来介绍 if-else结构。分支...
2019-11-13 21:34:41
114
原创 运算符
运算；算术运算符；在这里需要注意x++是先使用x在+1而++x是先对x+1再使用x。以此类推得出x–和--x代表的含义。int x=10;int y=20; int z=(x++)*2;答案是20 int e=(++x)*2;答案是24// 而e的结果可以表明一个问题，对于++x的处理是先对x+1在进行计算处理的。而x的结果是继承上边的// int q=(x++);答...
2019-11-03 18:47:16
327
原创 Java运算符
先说一些无关紧要的东西，当再次写博客的时候，记得内容要有条理，有结构，层次要分明，思维导图以截图的形式，在推荐几个适合于我们学习程序的网站，w3school RUNOOB菜鸟教程 在讲几个小概念 ，标识符是程序运行当中给自己起的名字，类名字首字母是比须要大写的，包名字是全部小写的，小写的是变量。运算；算术运算；在这里需要注意x++是先使用x在+1而++x是先对x+1再使用x。以此类推...
2019-10-27 12:29:29
175
原创 求字符最大值，最小值 字符型和布尔型 强制转换
首先介绍一下属于eclipse的一个便捷功能，如何引入文件，首先点击文件，然后点import 在点击 Genaral再点击第二项Existing projects into workpace从文件夹找自己的Java文件。再有就是建包，建包的具体步骤是点击new 再点pacakege 包名字的具体原则是对应域名倒过来写。再根据功能写名字如com.Wehai.student。Java是一种强类型语...
2019-10-21 21:53:26
712
原创 Java语言中的类与对象，命名的原则，变量的使用
Java语言是面对对象的语言，这与C语言是有区别的，C语言是面对过程的语言，对象的概念为：现实世界存在的具体事物，一个个的个体 Java语言程序都是由类构成的，类的概念为具有相同特征的集合便称为类 （package的概念为定义一个包，相当于定义了类的积分，目的是方便分类的）类可用英文c...
2019-10-18 10:49:01
495
原创 JAVA的初步学习
在Java的学习过程中首先要做的便是下载jdk和eclipse以及配置环境变量了，下载jdk直接去甲骨文的官网下载，关于eclipse的基础使用和环境变量的配置我做了个百度脑图，https://naotu.baidu.com/file/49d9b6b041fb7f298f76267d73f73822里面有具体内容初入Java，我的第一个程序便是hello world， public static ...
2019-10-14 22:15:32
100
原创 初入java语言世界的心得
作为初入软件这个专业的学生。第一节课就接触java这门语言，对于我这个还没有预习的人来讲还是很懵逼的，但随着老师的细心讲解，我还是对这个语言有了初步的的理解。 老师刚上来对我们并没有直接讲这门语言的具体知识，而是先给我们讲我们这几年学...
2019-10-09 16:37:43
91
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人