奔跑入坑大数据

1. 下载Hadoop环境包解压2.设置windows环境

IDEA自定义代码模板1. 进入setting界面2. 搜索框输入live即可，选择Live templates3. 先定义一个模板的组，选择+号然后选择Template Group最好自己定义一个组防止和其他原有的模板组搞混4. 输入模板组的名字5. 选中创建好的模板组，这里我之前创建了CustomDefine的组，偷懒就不重新创建了，选择自定义的模板组CustomDefine，然后点击加号，选择Live Template，这个就是自定义代码模板了，也就是在这里进行自己...

一般搭建kafka监控的时候kafka和zk都已经搭建好了这里需要主意一个地方1.kafka需要开启JMX端口 找到kafka安装路径，进入到bin文件夹，修改下面的地方。 vi kafka-server-start.shif [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:...

进行将content写入 csv内，上次刚解决掉 py2和py3的不一致，然后使用了codesc进行了解决，发现现在的数据，又出现了乱码的问题，经过查验得知原来是content内容中有不可进行的编码，所以对于处理content内部的乱码问题，需要进行直接使用ignore这样就解决了编码问题，具体为什么需要转换对应的数据可参考前面的文章解释：进行写入csv的乱码问题...

因为python不是高版本兼容低版本，所以有时候还要进行版本类的使用，大部分的代码还都是pyhton2开发，因此需要进行Python2和python3的安装官网下载对应的python版本：https://www.python.org/安装完毕后，创建project可以自主选择对应的python版本...

前言 python2最大的坑在于中文编码问题，遇到中文报错首先加u，再各种encode、decode。 当list、tuple、dict里面有中文时，打印出来的是Unicode编码，这个是无解的。 对中文编码纠结的建议尽快换python3吧，python2且用且珍惜！ csv中文乱码 。前言python2最大的坑在于中文编码问题，遇到中文报错首先加u，再各种encode、decode。当list、tuple、dict里面有中文时，打印出来的是Unicode编码，这个是无解的。对中文编

maven缺失ojdbc6解决方法（手动安装ojdbc6）1.首先下载ojdbc6jar包jar下载地址1(需登录) jar下载地址2(直接下载)2.进入到jar包所在文件夹，执行cmd命令cmd终端执行下面命令mvn install:install-file -Dfile=ojdbc6-11.2.0.3.jar -DgroupId=com.oracle -DartifactId=ojdbc6 -Dversion=11.2.0.3 -Dpackaging=jar -DgeneratePom=t

1. pip install XX --安装对应库2. pip install xx=1.0.2 --安装指定库版本3. pip uninstall xx --卸载对应的指定版本库函数

题目：解决治理问题思路：这道题看完之后，想到了 从一个节点跳到另外一个节点，就把他想成了深度求数值（dfs实际上求深度有解，而不适用于求极值），求极值贪心和动态规划，实际上这道题是一个动态规划的题；写完dfs时间超时，实际上会处理很多重复位置的值；动态规划的必备三个条件：重复子问题，最优子结构，状态转移方程通过动态规划我们可以知道：动态规划先1. 需要DP数组存储状态：2.通过当前状态所依赖的状态，来计算当前状态。本题能够知道 在 f(i)处 我们只有两个操作：(1)

HW、LEO等概念和上一篇文章所说的ISR有着紧密的关系，如果不了解 ISR 可以先看下ISR相关的介绍。HW（High Watermark）俗称高水位，它标识了一个特定的消息偏移量（offset），消费者只能拉取到这个offset之前的消息。下图表示一个日志文件，这个日志文件中只有9条消息，第一条消息的offset（LogStartOffset）为0，最有一条消息的offset为8，offset为9的消息使用虚线表示的，代表下一条待写入的消息。日志文件的 HW 为6，表示消费者只能拉取o...

实习期间 在做一个比较复杂的数据抽取，抽取的结果我总是用Map进行封装，这时候leader说你可以用pair进行封装，因为在进行抽取的过程中，因为业务抽取原因，会出现key值重复但是value不重复；（傻着用value前两个字符和key拼接），最终才知道还有Pair的存在；重点：Pair 可以存储key-value 但是使用List<Pair<String,String>> 就是一个可以重复key的MapMap可以存储多个Key-value,但是会覆盖相同的key.

因为好久没创建过kafka topic 经排查是zookeeper的地址有问题因此地址需要一致：kafka-topics.sh --create --topic test --zookeeper hadoop112:2181/kafka --partitions 5 --replication-factor 1

1. 检查文件名是否包含中文路径，如果包含中文路径则会进行抛错

1 使用阿里的FastJson1.1 项目的pom.xml依赖<dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.58</version></dependency>1.2 Java示例代码(1) 导入的包:com.alibaba.fastjson

1，windows环境设置国内镜像源在user目录下创建pip文件夹，pip文件夹下并创建pip.ini文件，文件内容如下：（下面提供下载链接）[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple[install]trusted-host = pypi.tuna.tsinghua.edu.cn上面index-url 取值为镜像源地址　　 trusted-host 取值为镜像源的域名可以点击这里下载配置文件...

1. 配置python的环境变量1.1找到安装目录1.2配置环境变量2.配置pip的环境变量就可以进行使用 pip install -xx

约瑟夫环（约瑟夫问题）是一个数学的应用问题：已知 n 个人（以编号1，2，3…n分别表示）围坐在一张圆桌周围。从编号为 k 的人开始报数，数到 m 的那个人出圈；他的下一个人又从 1 开始报数，数到 m 的那个人又出圈；依此规律重复下去，直到剩余最后一个胜利者。例如：有10个人围成一圈进行此游戏，每个人编号为 1-10 。若规定数到 3 的人出圈。则游戏过程如下。（1）开始报数，第一个数到 3 的人为 3 号，3 号出圈。  1， 2， 【3】， 4， 5， 6， 7， 8， 9， 10。（2）

Java开发转了大数据，竟然被拉去做了非结构的ETL抽取，真的是比做后端伤脑筋，没有可借鉴的框架，只能根据数据抽取,第一份大数据实习，写完抽取代码后，需要写成UDF和UDTF进行使用。记录一下UDF和GenericUDF的区别：UDF属于基础的UDF:简单的udf实现很简单，只需要继承udf，然后实现evaluate()方法就行了。evaluate()允许重载。...

1. hive udtf的函数中的实体源码参考：Hive之ObjectInspector详解