NeboFeng的博客

欢迎大家多多指教!谢谢

Java 解析 Excel 文件读取文件内容

需求: 使用 java 解析 excel文件的 字段内容。 主要是利用 <dependency> <groupId>org.apache.poi</groupId&...

2018-09-08 18:32:03

阅读数 199

评论数 0

Canal安装配置与Client监听Msql数据变更

求: 使用Canal将Mysql的变更数据实时同步到大数据平台(hdfs/hive/hbase)环境:jdkmysqlzookeepr(没有配置Ha的情况下不必配置,这里暂时未配置) 环境配置比较简单,这里略过。 Canal配置 下载安装包 wget https://github.com/...

2018-08-03 19:53:27

阅读数 563

评论数 6

Otter实现Msql主从同步

需求:实现主机a(hadoop2)的mysql数据同步到主机b(hadoop4)的mysq中。 参考文档:https://github.com/alibaba/canal https://github.com/alibaba/otter/wiki/QuickStart https://seg...

2018-07-29 19:41:23

阅读数 340

评论数 0

Linux 脚本 统一启动集群中其它角色节点服务的脚本

需求: 启动服务的时候,有时候需要每个节点都要启动,所以很麻烦。所以通过脚本的配置在一个节点上启动其他节点的服务,或者同时启动用一种角色节点的服务 在学习的过程中,因为遇到每个节点都要启动相同的服务。反复操作很繁琐,所以为了节省效率,找到了一些脚本用来方便操作,这里简单讲一些。(脚本不是自己写的...

2018-07-11 20:09:47

阅读数 506

评论数 0

Linux 开机自启服务

**需求: 需要在linux启动的时候开启某些服务 比如说: 开启 zookeeper ,hdfs ,yarn服务** 注意: 因为这些服务需要用到ssh通信所以要保证 ssh服务先启动,并且网络服务启动 方法一: 非最终解决方法 在/etc/rc.local中添加 如果不想将脚本粘...

2018-07-11 15:51:30

阅读数 180

评论数 0

hadoop集群搭建三: hbase分布式集群搭建

需求:在三台主机上搭建hbase分布式集群 版本: hbase-0.98.11-hadoop2 环境jdk1.8 主要角色 txynebo1 master, zookeeper, regionserver txynebo2 master, zookeeper ,regionse...

2018-03-25 13:32:56

阅读数 155

评论数 0

hadoop集群搭建二: hadoop+zookeeper 配置namenode与resourcemanager的高可用

需求: 配置由zookeeper实现的hdfs namenode的高可用 ,以及resourcemanager高可用 。 centos7.3 jdk1.8(默认已经安装好) hadoop 2.6.0 zookeeper 3.4.6 ssh免密登陆已经配置好。 时钟同步已经完成 防...

2018-03-23 15:52:46

阅读数 355

评论数 0

hadoop集群搭建一: 集群 配置ssh免密码登陆

需求 : 主机 txynebo1 , txynebo2 , txynebo3 配置ssh免密码登陆 。 1 .首先更改hosts文件 将三个主机的ip与hostname对应(这边是三个云服务器。所以将对...

2018-03-22 19:26:50

阅读数 375

评论数 0

flume+kafka实现根据消息的标识分配到不同的分区

需求 在使用flume 收集 log的时候根据 不同的 消息表示可能是uid。或者是日期。等关键字段 。 将消息发送到 kafka不同的分区 这里就不再贴详细代码 主要讲一下自己的思路 。 思路一: 自定义在flume拦截器中 使用 kafka producer 。直接将关键信息 获取...

2018-03-19 16:48:48

阅读数 1497

评论数 0

根据源码查看mapreduce作业分块逻辑

1.首先我们知道inputformat接口有两个方法 (旧版api 放置在 org.apache.hadoop.mapred 新版 api放置在 org.apache.hadoop.mapreduce) 第一个getSplits是获取分块的方法 第二个createRdcordReader是...

2018-03-14 12:36:21

阅读数 140

评论数 0

centos6.5 中 git+maven 编译 spark过程

centos6.5中使用git+maven编译spark踩到了很多坑,最后成功编译。所以发篇文章记录一下,希望能给后面遇到相同问题的人一些帮助。 首先要安装 maven 3.3 +,如果没有安装可以百度一下具体步骤。 1. 首先是从github中clone spark源码 报错如下: ...

2018-03-07 16:42:38

阅读数 119

评论数 0

Maven遇到的问题总结

最近 总结了一下在使用maven中常遇到的几个问题,及解决方法如下: 1 . maven 每次uodate之后都会发现jdk的编译版本发生了改变。 解决方法: pom文件中添加 < build > &am...

2018-02-12 13:07:23

阅读数 145

评论数 0

MapReduce执行流程的一点总结

首先,通过任务的控制台log,可以看到,首先任务在执行的时候,先连接集群的resourceManager。 然后计算出split的个数 下一步才提交任务 而在mr任务提交之后 。InputFormat 接口决定了输入文件如何被 Hadoop 分块(split up)与接受。 ...

2018-01-25 20:03:42

阅读数 636

评论数 0

centos7.2 替换apache默认的test页面

今天在访问自己域名之后看到了apache的默认测试页面,感觉想换成自己的专属页面。 步骤如下首先我是将自己的页面(nebo文件夹中的index.html)中 发布到 /var/www/html  然后将   /etc/httpd/conf的 httpd.conf文件打开将其中的Do...

2017-03-07 14:39:59

阅读数 838

评论数 0

HttpURLConnection getResponseCode() 返回-1

今天在进行android开发时,需要请求网络数据  HttpURLConnection 请求时出现空指针, 打断点发现是    conn.getResponseCode() 返回-1, 多次查看之后发现没有代码上的错误。查找了一下资料,发现 uses-permission android...

2017-02-20 15:02:46

阅读数 1685

评论数 0

matlab r2012b 安装

1.准备matlab r2012b镜像(安装包) 迅雷链接 :  http://dl1.c10.sendfile.vip.xunlei.com:8000/Matlab%202012b%20for%20windows%2Eiso?key=f02bc69c158abe846860eb0b940...

2017-02-18 20:34:51

阅读数 1523

评论数 0

Thread的start与run

首先是java多线程编程核心技术里面有一个demo,让自己产生了一点疑问public class MyThread extends Thread {    public MyThread(){        System.out.println("构造方法的打印 : &q...

2017-02-15 15:36:05

阅读数 227

评论数 0

java接口与抽象类

Java中如果需要其子类必须实现某些功能可以使用接口 ,也可以使用抽象类。那么这两种方法到底有什么区别呢?    接口中的方法,必须实现,也就是说每一个实现了接口的类必须自定义实现接口中的方法。 而抽象类中的 抽象方法 子类 也是必须实现的,区别在于:抽象类除了抽象方法,也可以包含非抽象方法。...

2017-02-11 15:16:42

阅读数 145

评论数 0

HashMap与HashTable

 1.继承关系   Hashtable 继承自 Dictiionary    HashMap 继承自AbstractMap2.线程安全性其中 Hashtable put等大部分方法 都加了synchronized关键字是同步的    不允许value==null&&...

2017-02-02 22:32:50

阅读数 202

评论数 0

git遇到的一点小问题

今天使用androidstudio将做了一段时间的小项目上传到git。 在android studio中创建仓库,然后进入文件夹。命令行中 git   remote add ###添加远程仓库 然后add commit push(如果忘了add commit直接push也是会...

2017-01-31 15:18:02

阅读数 195

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭