自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

NeboFeng的博客

欢迎大家多多指教!谢谢

原创 Kafka获取最新offset

需求: 获取kafka 最新的offset 方法: 获取kafka每个分区的offset method1 使用consumer.seektoend() method2 使用consumer.endOffsets() 版本 <dependency> <g...

2020-01-02 23:08:27 227 0

原创 Accumulator-累加器的简单使用及注意事项

累加器用于在executors中做变量更改。 官方文档: 官方文档地址 基于spark 2.3.3版本编写的示例demo : package pers.nebo.sparkcore import org.apache.spark.rdd.RDD import org.apache.spark.sq...

2019-12-29 17:30:14 121 0

原创 Spark学习:求网址的top3访问地区及网站pv、uv

思路: 生成用户不同时间访问不同网站的数据,计算出pv 、uv pv 页面访一次加1 ,uv 不同用户访问 加1 //ip val IP = 223 //地址 val ADDRESS = Array("北京", "天津", "上海&q...

2019-11-26 23:30:40 54 0

原创 Scala:基础知识介绍

最近复习了一下Scala 语法,看的课程 https://www.bjsxt.com/dashujushipin.html这里分享一下 下面是练习的代码。有困惑的地方也加了自己的理解。

2019-11-22 22:59:54 25 0

原创 python调用ambari rest api 获取、更改集群中节点的服务状态

需求: 想用python 调用ambair的rest api,来获取集群中节点服务的状态,根据需求更改组件状态 主要参考: https://github.com/apache/ambari/blob/trunk/ambari-server/docs/api/v1/ 具体参数的获取,以启动某主机上的...

2019-11-15 13:12:39 213 0

原创 Linux模拟磁盘、网络、电源异常的方法小结

一 . 模拟拔盘 **#拔盘脚本:传入 盘符名称入 :sdx** disk=$1 res=`ls /sys/block/$disk/device/scsi_disk/ | grep -oE '[0-9]+:[0-9]+:[0-9]+:[0-9]+'` ...

2019-11-05 13:12:21 254 0

原创 MR 案例分析: 求每个月温度最高的两天

最近看到一个mr的例子,感觉有些收获这里分享一下 需求: 求每个月温度最高的两天,日期格式为:1949-10-01 14:21:02 34c 思路一: mr job 将key 封装为 year-month的格式 传递给 reduce, reduce 中遍历每个key 的值,取出...

2019-10-28 23:44:22 95 0

原创 GangLia搭建使用

需求: 采集多个节点中的负载情况,多个节点划分为多个集群监控 ganglia的简单角色划分 ganglia-web : web展示 ganglia-gmetad 数据收集处理 ga...

2019-09-30 15:06:37 63 0

原创 Java 解析 Excel 文件读取文件内容

需求: 使用 java 解析 excel文件的 字段内容。 主要是利用 &lt;dependency&gt; &lt;groupId&gt;org.apache.poi&lt;/groupId&gt; &lt;artifac...

2018-09-08 18:32:03 902 0

原创 Canal安装配置与Client监听Msql数据变更

求: 使用Canal将Mysql的变更数据实时同步到大数据平台(hdfs/hive/hbase)环境:jdkmysqlzookeepr(没有配置Ha的情况下不必配置,这里暂时未配置) 环境配置比较简单,这里略过。 Canal配置 下载安装包 wget https://github.com/...

2018-08-03 19:53:27 1453 6

原创 Otter实现Msql主从同步

需求:实现主机a(hadoop2)的mysql数据同步到主机b(hadoop4)的mysq中。 参考文档:https://github.com/alibaba/canal https://github.com/alibaba/otter/wiki/QuickStart https://seg...

2018-07-29 19:41:23 660 0

原创 Linux 脚本 统一启动集群中其它角色节点服务的脚本

需求: 启动服务的时候,有时候需要每个节点都要启动,所以很麻烦。所以通过脚本的配置在一个节点上启动其他节点的服务,或者同时启动用一种角色节点的服务 在学习的过程中,因为遇到每个节点都要启动相同的服务。反复操作很繁琐,所以为了节省效率,找到了一些脚本用来方便操作,这里简单讲一些。(脚本不是自己写的...

2018-07-11 20:09:47 948 0

原创 Linux 开机自启服务

**需求: 需要在linux启动的时候开启某些服务 比如说: 开启 zookeeper ,hdfs ,yarn服务** 注意: 因为这些服务需要用到ssh通信所以要保证 ssh服务先启动,并且网络服务启动 方法一: 非最终解决方法 在/etc/rc.local中添加 如果不想将脚本粘...

2018-07-11 15:51:30 328 0

原创 hadoop集群搭建三: hbase分布式集群搭建

需求:在三台主机上搭建hbase分布式集群 版本: hbase-0.98.11-hadoop2 环境jdk1.8 主要角色 txynebo1 master, zookeeper, regionserver txynebo2 master, zookeeper ,regionse...

2018-03-25 13:32:56 254 0

原创 hadoop集群搭建二: hadoop+zookeeper 配置namenode与resourcemanager的高可用

需求: 配置由zookeeper实现的hdfs namenode的高可用 ,以及resourcemanager高可用 。 centos7.3 jdk1.8(默认已经安装好) hadoop 2.6.0 zookeeper 3.4.6 ssh免密登陆已经配置好。 时钟同步已经完成 防...

2018-03-23 15:52:46 699 0

原创 hadoop集群搭建一: 集群 配置ssh免密码登陆

需求 : 主机 txynebo1 , txynebo2 , txynebo3 配置ssh免密码登陆 。 1 .首先更改hosts文件 将三个主机的ip与hostname对应(这边是三个云服务器。所以将对...

2018-03-22 19:26:50 554 0

原创 flume+kafka实现根据消息的标识分配到不同的分区

需求 在使用flume 收集 log的时候根据 不同的 消息表示可能是uid。或者是日期。等关键字段 。 将消息发送到 kafka不同的分区 这里就不再贴详细代码 主要讲一下自己的思路 。 思路一: 自定义在flume拦截器中 使用 kafka producer 。直接将关键信息 获取...

2018-03-19 16:48:48 2700 0

原创 根据源码查看mapreduce作业分块逻辑

1.首先我们知道inputformat接口有两个方法 (旧版api 放置在 org.apache.hadoop.mapred 新版 api放置在 org.apache.hadoop.mapreduce) 第一个getSplits是获取分块的方法 第二个createRdcordReader是...

2018-03-14 12:36:21 179 0

原创 centos6.5 中 git+maven 编译 spark过程

centos6.5中使用git+maven编译spark踩到了很多坑,最后成功编译。所以发篇文章记录一下,希望能给后面遇到相同问题的人一些帮助。 首先要安装 maven 3.3 +,如果没有安装可以百度一下具体步骤。 1. 首先是从github中clone spark源码 报错如下: ...

2018-03-07 16:42:38 149 0

原创 Maven遇到的问题总结

最近 总结了一下在使用maven中常遇到的几个问题,及解决方法如下: 1 . maven 每次uodate之后都会发现jdk的编译版本发生了改变。 解决方法: pom文件中添加 &lt; build &gt; &lt; pl...

2018-02-12 13:07:23 171 0

原创 MapReduce执行流程的一点总结

首先,通过任务的控制台log,可以看到,首先任务在执行的时候,先连接集群的resourceManager。 然后计算出split的个数 下一步才提交任务 而在mr任务提交之后 。InputFormat 接口决定了输入文件如何被 Hadoop 分块(split up)与接受。 ...

2018-01-25 20:03:42 1110 0

原创 centos7.2 替换apache默认的test页面

今天在访问自己域名之后看到了apache的默认测试页面,感觉想换成自己的专属页面。 步骤如下首先我是将自己的页面(nebo文件夹中的index.html)中 发布到 /var/www/html  然后将   /etc/httpd/conf的 httpd.conf文件打开将其中的Do...

2017-03-07 14:39:59 1785 0

原创 HttpURLConnection getResponseCode() 返回-1

今天在进行android开发时,需要请求网络数据  HttpURLConnection 请求时出现空指针, 打断点发现是    conn.getResponseCode() 返回-1, 多次查看之后发现没有代码上的错误。查找了一下资料,发现 uses-permission android...

2017-02-20 15:02:46 3003 0

原创 matlab r2012b 安装

1.准备matlab r2012b镜像(安装包) 迅雷链接 :  http://dl1.c10.sendfile.vip.xunlei.com:8000/Matlab%202012b%20for%20windows%2Eiso?key=f02bc69c158abe846860eb0b940...

2017-02-18 20:34:51 2151 0

原创 Thread的start与run

首先是java多线程编程核心技术里面有一个demo,让自己产生了一点疑问public class MyThread extends Thread {    public MyThread(){        System.out.println("构造方法的打印 : "+Thr...

2017-02-15 15:36:05 253 0

原创 java接口与抽象类

Java中如果需要其子类必须实现某些功能可以使用接口 ,也可以使用抽象类。那么这两种方法到底有什么区别呢?    接口中的方法,必须实现,也就是说每一个实现了接口的类必须自定义实现接口中的方法。 而抽象类中的 抽象方法 子类 也是必须实现的,区别在于:抽象类除了抽象方法,也可以包含非抽象方法。...

2017-02-11 15:16:42 170 0

原创 HashMap与HashTable

 1.继承关系   Hashtable 继承自 Dictiionary    HashMap 继承自AbstractMap2.线程安全性其中 Hashtable put等大部分方法 都加了synchronized关键字是同步的    不允许value==null&amp;&amp;...

2017-02-02 22:32:50 220 0

原创 git遇到的一点小问题

今天使用androidstudio将做了一段时间的小项目上传到git。 在android studio中创建仓库,然后进入文件夹。命令行中 git   remote add ###添加远程仓库 然后add commit push(如果忘了add commit直接push也是会...

2017-01-31 15:18:02 225 0

原创 File path=new File(“.”)的一些问题

今天在复习java的时候。看到书籍(thinking in java )中使用到了File path=new File(".");以为是当前目录, 然后通过 list=path.list(); 返回这个目录的文件夹,文件目录 。并打印   在运行之后发现 File path...

2017-01-25 19:30:48 2586 0

原创 TabLayout+ViewPager实现联动的小问题

今天在做应用时想要利用TabLayout+ViewPager实现标签页,却遇到了一点小问题, 在使用  tabLayout.setupWithViewPager(vp_demo);这个方法使tablayout与viewpager联动时,发现我之前tablayout填充的title变为空白了。 ...

2017-01-24 15:03:40 682 0

原创 FragmentManager简单解析

今天在使用 mFragmentManager.beginTransaction() .replace(R.id.articles_container, mArticleFragment) .commit(); 对fragment进行操作的时候想看看源码的具体过程...

2017-01-18 21:03:15 266 0

原创 struts2导入js,css文件无法生效

1.在jsp文件中 导入jss文件 ../表示上一级目录 但是引入外部css总是没有效果,通过火狐调试台,发现js与css文件状态码为404,得出是路径问题, struts2由于是转发路径,jsp文件在WEB-INF下面,由于我是导入公共文件 WEB-INF/public/common...

2017-01-01 11:22:35 1652 0

原创 struts2+spring Unable to instantiate Action

错误代码:HTTP Status 500 - Unable to instantiate Action, myIndexAction1, defined for 'Index' in namespace '/'Cannot find class [actio...

2016-12-28 13:48:35 1847 0

原创 QQ侧滑SlideMenu的制作

这是一个简单QQ侧滑SlideMenu的制作实例,与某些视频里面的代码差不多,不过视频中存在几处细节不太完善,所以我修复了一些细节方面的bug 示例效果如下: ...

2016-09-13 21:20:01 495 0

原创 java初始化对象的执行过程

//本文讲一下java初始化对象时代码的执行过程 //为了方便看出类中各个代码执行的顺序,示例代码如下,        package cp_04;             class Bowl {             Bowl(int marker) {             ...

2016-08-26 23:45:21 870 0

原创 JSON与JSONObject解析json数据

获取json数据: private void sendRequestWithHttpClient() { new Thread(new Runnable() { @Override public void run() { try { HttpClient httpClient = ...

2016-08-21 09:21:57 4797 0

原创 java中 ==与equals方法的区别

package cp_03.relational_operator; public class Equivalence { public static void main(String[] args) { Integer n1 = new Integer(47); Integer n...

2016-08-17 09:30:33 329 0

原创 图片拍照或相册选择的实现以及裁剪功能

/** *   开发android项目时使用到的一个图片功能,觉得还可以,所以分享一下  * 带有选择图片的Activity,子类只要对应的控件监听事件实现setImageToView就可以对图片进行相应的处理了  * @author lt  */ public abstract class Ba...

2016-08-15 20:49:14 834 0

转载 【Android】SlidingMenu属性详解

【Android】SlidingMenu属性详解

2016-08-02 18:50:09 287 0

原创 Android回调机制

有一种很好的说法是,可以理解为,在一个类中有一些方法,是留给系统用的. 我们只需要暴露出接口 回调是对接口而言。简单来说就是: A对象调用了自己的方法a,方法a接收的参数是B接口的实例b, 而在方法a中将执行接口B中的方法c。

2016-07-30 23:29:37 387 0

提示
确定要删除当前文章?
取消 删除