汤小萌的博客

原创 Python在终端通过pip安装好包以后，在Pycharm中依然无法使用的解决办法

Python在终端通过pip安装好包以后，在Pycharm中依然无法使用的解决办法我采用的是第二种方法解决了安装包的问题https://blog.csdn.net/kouyi5627/article/details/80531442...

原创 Kafka实例代码

需要添加的依赖<dependency> <groupId>com.alibaba.jstorm</groupId> <artifactId>jstorm-core</artifactId> <version>2.1.1</version> <!--&a

原创 将句子按照单词反转

例子： Hello, how are you? Fine. 反转成： Fine. you? are how Hello,注意反转的时候，你无法确定句子中到底有多少个空格，所以你使用字符串切割的话，那么你就不发还原原始字符串的空格了下面的代码是用Python写的def reverse(str_list, start, end): while start &lt...

原创 手动实现Storm的任务执行

package com.thp.bigdata;import java.util.HashMap;import java.util.Map;import java.util.Random;import java.util.concurrent.ArrayBlockingQueue;import java.util.concurrent.BlockingQueue;import jav...

原创 Storm的worker,executor,task -- 进程，线程

1.Storm并行度相关的概念Storm集群有很多节点，按照类型分为nimbus(主节点)，supervisor(从节点)，在conf/storm.yaml中配置了一个supervisor，有多个槽（supervisor.slots.ports）,每个槽就是一个JVM，就是一个worker(一个节点运行一个worker)，在每个worker里面运行多个线程叫做executor,在executor...

原创 Storm任务提交过程

原创 Storm组件本地目录树和zookeeper上的目录树

Storm组件本地目录树Storm zookeeper目录树

原创 Storm集群是如何启动的，任务是如何执行的？

1.Storm集群是如何启动的，任务是如何执行的？集群架构中的各个模块如何启动？任务如何分配，如何执行？storm启动nimbus服务的命令：cd /export/servers/storm/bin/nohup ./storm nimbus &1.客户端运行storm nimbus时，会调用storm的脚本，生成一条java命令，命令格式如下：java -server x...

原创 Python自带的IDLE设置炫丽的颜色

请看作者原文：https://www.cnblogs.com/always-fight/p/9705501.html[Obsidian]definition-foreground = #678CB1error-foreground = #FF0000string-background = #293134keyword-foreground = #93C763normal-foregr...

原创 Storm流之FieldGrouping字段分组

请看原文博客：https://blog.csdn.net/Simon_09010817/article/details/80092080这篇博客写得更加详细https://blog.csdn.net/wangshijie1234567/article/details/48315605

原创 Storm体系结构和概念解释

请看作者的原文：这几篇博客，我认为比较详细https://www.jianshu.com/p/90456bab8487?winzoom=1https://blog.csdn.net/c_ful/article/details/78497237https://blog.csdn.net/liuyanwu5289227/article/details/75136959...

原创 IDEA的使用

我之前学习的时候整理了一些笔记，您可以下载下来参考https://pan.baidu.com/s/1xJ8vZOC8TNQs0wndbcBcsQIDEA的快捷键：https://www.cnblogs.com/wsbxf/p/6103778.html

原创 shell脚本启动与停止storm集群

请参考原文博客：https://blog.csdn.net/fct2001140269/article/details/80879877我已经写好了这些脚本，您直接下载，改一下就可以直接用了。https://pan.baidu.com/s/10_E_Cq0iVaI0pFWIiySvDQ我在写脚本测试的时候出现了问题，解析的博客：https://blog.csdn.net/qq_38200...

原创 ssh连接远程主机执行脚本的环境变量问题

请看原文：https://blog.csdn.net/whitehack/article/details/51705889https://www.cnblogs.com/zhenyuyaodidiao/p/9287497.html解决措施：https://blog.csdn.net/u014449046/article/details/79979640...

原创 CentOS6 Shell脚本/bin/bash^M: bad interpreter错误解决方法

请看作者原文：https://www.cnblogs.com/vijayfly/p/6232427.html

原创 bash中 2>&1 & 的解释

bash中 2>&1 & 的解释请看作者的原文：https://www.cnblogs.com/sos-blue/p/6798810.html

原创 java.lang.AbstractMethodError: javax.servlet.jsp.JspFactory.getJspApplicationContext(Ljavax/servlet/

我导入云笔记项目的时候，在项目启动的时候，包了这个错，我试着使用下面的方法能够解决问题，而且可以正常启动项目，第一步删除冲突的jar包https://blog.csdn.net/testcs_dn/article/details/39582939删除这两个jar包之后，还是会出现问题va.lang.ClassCastException: org.apache.jasper.el.ELCon...

原创 Hive整合HBase --解决版本冲突

笔者使用的是0.99.2这个版本的hbase.第一步 ： 拷贝hbase的jar包到hive需要hbase下面的jar包到hive的lib目录下hbase-client-0.99.2.jarhbase-common-0.99.2.jarhbase-server-0.99.2.jarhbase-common-0.99.2-tests.jarhbase-protocol-0.99.2.j...

原创 Redis配置开机启动-配置启动的脚本

参考博客：https://www.cnblogs.com/skyessay/p/6433349.htmlhttp://www.wangsenfeng.com/articles/2016/10/27/1477557394256.html呢个redis_pid只会在开启后台进程的时候才会生成，并且如果是使用kill -9强制杀死redis进程的话，这个redis_6379.pid是不会删除的，只...

原创 Redis集群的搭建

这篇博客非常好：https://blog.whsir.com/post-2693.html这位作者关于ruby2.5版本的安装https://blog.whsir.com/post-2659.htmlrubu的中国的镜像地址的后缀变了：https://blog.csdn.net/w2i0l1l5y/article/details/82662224https://gems.ruby-ch...

原创 HBase的主从

主： HMaster:只负责表管理，和RegionServer的上线下线，一个Region挂了，就把数据分下去，一个Region上来了，就把数据均衡一下。跟管理DataNode的上下线是一样的。不跟数据打交道从：HRegionServer跟数据打交道，管理数据的增删改查，还有向hdfs写数据。...

原创 Java API 操HBase一直不懂

我使用的是单机版本的zookeeper,使用java API操作HBase，需要连接上zookeeper,但是我之前在网上搜的是配置单机本地版的zookeeper，这配置里面，我没太注意，我把端口改成2182，而zookeeper，默认使用的端口是2181，所以我一直一直连不上，使用debug模式调试，会一直卡在创建表 createTable 这一步上，把端口改回来，或者直接删除修改zooke...

原创 HBase数据模型

HBase是将列保存在一个列族里面。这样的好处是：在HBase里面，是没有修改数据这一说法，而是通过版本号来将数据合并成为最新的数据。列族保存的是多个列的内容，最终每一个列族会生成一个文件，这就相当于将有很多列的表拆分，比如将用户名和密码拆分成一个表，另一个表放的是一大堆描述信息，因为在登录的时候，只需要用户名和密码。如果都设置在一张表里面，一查询，查询的内容很大。所以HBase就是分...

原创 HBase安装 - 联邦机制下的hadoop集群

老师的联邦机制的hadoop集群的分布 ：master1 : namenode zkfcmaster1ha : namenode zkfc zookeeper journalnode master2: namenode zkfc zookeeper journalnode master2ha: namenode zkfc zookeeper journalnodeh2slave1: no...

转载 关于MapReduce程序开发的一些总结

mapreduce在编程的时候，基本上一个固化的模式，没有太多可灵活改变的地方，除了以下几处：1 输入数据接口：InputFormatFileInputFormat(文件类型数据读取的通用抽象类) DBInputFormat （数据库数据读取的通用抽象类）默认使用的实现类是： TextInputFormat job.setInputFormatClass(TextInputFor...

原创 Hadoop集群的高可用-HA

HDFS的高可用：需求：我们之前搭建的hadoop集群是一个NameNode和三个DateNode原先那套机制：FSNameSystem 元数据对内存的管理器，里面管理的数据都在内存里面，但是在内存里面的数据不太可靠，所以有一个 fsimage 做持久化操作，更新的操作是在edits里面，当一个客户端做数据的操作的时候，导致元数据要发生变化，先把操作记录在日志里面，如果操作成功了，就再记...