汤小萌的博客

这里写链接内容

mapreduce在编程的时候，基本上一个固化的模式，没有太多可灵活改变的地方，除了以下几处：1 输入数据接口：InputFormatFileInputFormat(文件类型数据读取的通用抽象类) DBInputFormat （数据库数据读取的通用抽象类）默认使用的实现类是： TextInputFormat job.setInputFormatClass(TextInputFor...

老师的联邦机制的hadoop集群的分布 ：master1 : namenode zkfcmaster1ha : namenode zkfc zookeeper journalnode master2: namenode zkfc zookeeper journalnode master2ha: namenode zkfc zookeeper journalnodeh2slave1: no...

笔者使用的是0.99.2这个版本的hbase.第一步 ： 拷贝hbase的jar包到hive需要hbase下面的jar包到hive的lib目录下hbase-client-0.99.2.jarhbase-common-0.99.2.jarhbase-server-0.99.2.jarhbase-common-0.99.2-tests.jarhbase-protocol-0.99.2.j...

我导入云笔记项目的时候，在项目启动的时候，包了这个错，我试着使用下面的方法能够解决问题，而且可以正常启动项目，第一步删除冲突的jar包https://blog.csdn.net/testcs_dn/article/details/39582939删除这两个jar包之后，还是会出现问题va.lang.ClassCastException: org.apache.jasper.el.ELCon...

这篇博客非常好：https://blog.whsir.com/post-2693.html这位作者关于ruby2.5版本的安装https://blog.whsir.com/post-2659.htmlrubu的中国的镜像地址的后缀变了：https://blog.csdn.net/w2i0l1l5y/article/details/82662224https://gems.ruby-ch...

参考博客：https://www.cnblogs.com/skyessay/p/6433349.htmlhttp://www.wangsenfeng.com/articles/2016/10/27/1477557394256.html呢个redis_pid只会在开启后台进程的时候才会生成，并且如果是使用kill -9强制杀死redis进程的话，这个redis_6379.pid是不会删除的，只...

请看作者原文：https://www.cnblogs.com/always-fight/p/9705501.html[Obsidian]definition-foreground = #678CB1error-foreground = #FF0000string-background = #293134keyword-foreground = #93C763normal-foregr...

Python在终端通过pip安装好包以后，在Pycharm中依然无法使用的解决办法我采用的是第二种方法解决了安装包的问题https://blog.csdn.net/kouyi5627/article/details/80531442...

bash中 2>&1 & 的解释请看作者的原文：https://www.cnblogs.com/sos-blue/p/6798810.html

请看作者原文：https://www.cnblogs.com/vijayfly/p/6232427.html

请看原文：https://blog.csdn.net/whitehack/article/details/51705889https://www.cnblogs.com/zhenyuyaodidiao/p/9287497.html解决措施：https://blog.csdn.net/u014449046/article/details/79979640...

请参考原文博客：https://blog.csdn.net/fct2001140269/article/details/80879877我已经写好了这些脚本，您直接下载，改一下就可以直接用了。https://pan.baidu.com/s/10_E_Cq0iVaI0pFWIiySvDQ我在写脚本测试的时候出现了问题，解析的博客：https://blog.csdn.net/qq_38200...

我之前学习的时候整理了一些笔记，您可以下载下来参考https://pan.baidu.com/s/1xJ8vZOC8TNQs0wndbcBcsQIDEA的快捷键：https://www.cnblogs.com/wsbxf/p/6103778.html

请看原文博客：https://blog.csdn.net/Simon_09010817/article/details/80092080这篇博客写得更加详细https://blog.csdn.net/wangshijie1234567/article/details/48315605

上面的cookie值复制在EverEdit是一行的数据现在需要将; 的部分作为一行数据,然后使用=分隔,左边作为key,右边作为value将 ; 替换为换行符然后加上"" ,并且将=替换为:,最后再加上,...

点击跳转连接

HDFS的高可用：需求：我们之前搭建的hadoop集群是一个NameNode和三个DateNode原先那套机制：FSNameSystem 元数据对内存的管理器，里面管理的数据都在内存里面，但是在内存里面的数据不太可靠，所以有一个 fsimage 做持久化操作，更新的操作是在edits里面，当一个客户端做数据的操作的时候，导致元数据要发生变化，先把操作记录在日志里面，如果操作成功了，就再记...

请看原文 — 我好不容易找到的，作者写得非常好。https://blog.csdn.net/weixin_37490221/article/details/80894827?utm_source=blogxgwz0我就给大家分享一下软件把，这样更方便了，我的软件都是按照原文作者的软件去下载的，都是一致的，所以在安装的时候直接复制原文作者的代码就行了。https://pan.baidu.co...

点击此处 查看原文一 Java类装载过程装载 通过累的全限定名获取二进制字节流，将二进制字节流转换成方法区 中的运行时数据结构，在内存中生成Java.lang.class对象； 链接:执行下面的校验、准备和解析步骤，其中解析步骤是可以选择的； 校验：检查导入类或接口的二进制数据的正确性；（文件格式验证，元数据验证，字节码验证，符号引用验证） 准备：给类的静态变量分...

instanceof运算符 只被用于对象引用变量，检查左边的被测试对象 是不是 右边类或接口的 实例化。如果被测对象是null值，则测试结果总是false。 形象地：自身实例或子类实例 instanceof 自身类 返回true 例： String s=new String(“javaisland”); System.out.println(s instanceof St...

https://blog.csdn.net/u014103971/article/details/81395646

出现这种情况就是作为镜像源的服务器的httpd服务没有启动,直接使用命令service httpd start

我们在windows下的eclipse直接将mapReduce程序发送到hadoop集群，在集群上跑mapReduce程序。1. 首先我们需要配置hadoop集群的参数我们可以通过代码的方式进行配置，也可以从hadoop集群中直接下载配置文件下载好的配置文件直接放在项目的src目录下面，注意一定是src目录，只有src目录才可以将源码中的配置文件覆盖。2设置jar包的位置：如果现在...

我们知道打jar包的时候是有两种方式，第一种是直接打成jar,另一种是打成Runnable jar这两种方式在使用hadoop jar 的时候是不一样的，如果是直接打成jar，就是那种文件非常小的那种方式：那么运行的方法是：hadoop jar mr1.jar com.thp.bigdata.wcdemo.WordcountDriver /wordcount/input /wordcoun...

首先先上传安装包：笔者使用的是rpm按章包：https://pan.baidu.com/s/171UVMHmPBQX6ObcoXeb2BA我之前到处这这个安装包，在官网上，我都没找到这个rpm的安装包。MySQL的官网下载：https://dev.mysql.com/downloads/mysql/但是我一直在官网上找不到这个rpm的下载包。我还发现了一个地方可以下载rpm包：htt...

请跳转看原文https://blog.csdn.net/u013679744/article/details/57074669

请看源文章https://blog.csdn.net/qq_39629343/article/details/80500820

某一次我可能没有正常关闭Mysql就直接让机器关机了，造成了MySQL下次都打不来了。先查看进程 ps -A | grep -i mysql如果Mysql进程开启了就把这个进程kill -9 ,然后再启动试试。但我的mysql进程就是没有启动起来我他娘的又看了下面的这几篇博客：https://www.cnblogs.com/adolfmc/p/5875584.htmlhttps...

需要从访问日志中梳理出每一个session（如果一个用户两次相邻请求之间的时间差 < 30 min，则该两次请求同属于同一个session,否则分属于不同的session）,并且为session的历次请求打上序号模拟日志 ：194.237.142.21 - - [18/Sep/2013:06:49:18 +0000] "GET /1.html HTTP/1.1" 304 0 "-" "M.

我的这两个项目代码地址：Collections排序：https://gitee.com/tanghongping/web_click_mr_hveMapReduce排序：https://gitee.com/tanghongping/MapReduceTest这两个项目里面会有一些车市的代码，可以忽略。使用Collections.sort排序WeblogBeanpackage com...

我使用azkan调度MapReduce程序，但是这个job执行失败，然后我可能是强制关闭azkaban的服务，整个机器变得超级超级卡，我执行Linux命令变得很慢，我使用jps查看进程，他娘的，好几分钟才出现，妈的，我穷得机器买不起贵的，所以太它娘的卡了。我靠，吓一跳太恐怖了，这么多没关，卡死了，把RunJar全部关了。我之前关不JPS查询到的RunJar，我只是使用azkaban里面的关...

下面这个连接里面有azkaban的安装软件，以及配置方法，和使用方式直接下载就行。配置的东西都差不多，我就不写了。https://pan.baidu.com/s/1LkJJu4ww9zdzswV2-l-XiA...

a1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = spooldira1.sources.r1.spoolDir =/home/hadoop/loga1.sources.r1.fileHeader = truea1.sinks.k1.type = hdfsa1.sinks.k1.channel = c...

我在使用完全分布式的时候，运行MapReduce程序非常地卡，所以我为了跑MapReduce程序，我又搭建了一个伪分布式的hadoop，我参考了下面几篇博客：https://www.cnblogs.com/zhangyinhua/p/7647686.htmlhttps://blog.csdn.net/thus_/article/details/78397495https://blog.csd...

点击跳转