关闭

java--对象引用与对象的区别(转载)

一、前言 在java学习中,理解对象以及对象的引用是万里长征的第一步。但是,现在大量的java学习书籍都将对象以及对象的引用混为一谈,然而实际上它们有着本质的区别。为了帮助更多的java学者更好的理解,我将自己的学习理解记录下来。如有理解不全或者错误的地方,欢迎大家批评指正。 二、分析对象引用与对象的区别 为了接下来进行更好的分析,我先建立一个Demo类,用于后面的...
阅读(13) 评论(0)

kafka必会的操作命令

1.启动Kafka,其中”>>/dev/null”表示将日志信息输出到”黑洞”,其中”2>&1”表示将错误信息和前面的日志信息一样,也输出到”黑洞”,末尾的”&”表示以后台方式启动kafka:bin/kafka-server-start.sh config/server.properties >>/dev/null 2>&1 &2、创建一个名为”mytopic”的Topic:bin/kafka-to...
阅读(33) 评论(0)

zookeeper删除kafka元数据,解决kafka无法消费数据的问题

启动kafka前没有启动zookeeper,导致消费者消费不到数据 解决方法:启动zookeeper的客户工具,删除zookeeper根目录下的brokers目录下的topic目录下的所有东西(这样会把之前建的所有topic都删除) 具体步骤: 1、启动zookeeper 客户端:进到zookeeper的安装目录[root@Node1 bin]# cd /usr/apps/zookeeper/...
阅读(35) 评论(0)

Centos下安装nc

netcat(nc,”脑残”)是一个简单而有用的工具,被誉为网络安全界的“瑞士均道”,不仅可以通过使用TCP或UDP协议的网络连接读写数据,同时还是一个功能强大的网络调试和探测工具,能够建立你需要的几乎所有类型的网络连接。 在Linux终端窗口可以直接使用yum工具进行安装:[root@Master ~]# yum install nc.x86_64等待安装完成Loaded plugins: fa...
阅读(13) 评论(0)

在idea上用SparkStreaming实现从远程socket读取数据并完成Wordcount

首先,准备环境 在本机(win7)上安装好idea(自行解决) 我的远端就是一台Centos版本的Linux,主机名叫master。 在这个远端上装好 nc(“脑残”)[root@Master ~]# nc -lk 8888bash: nc: command not found出现这个说明我的nc并没有安装,那么我装一下(首先得配好网络yum源,),执行下面的命令[root@Master ~...
阅读(19) 评论(0)

yarn-client、yarn-cluster 的区别

Spark on yarn有分为两种模式yarn-cluster和yarn-client Spark支持可插拔的集群管理模式(Standalone、Mesos以及YARN ),集群管理负责启动executor进程,编写Spark application 的人根本不需要知道Spark用的是什么集群管理。Spark支持的三种集群模式,这三种集群模式都由两个组件组成:master和slave。Mast...
阅读(26) 评论(0)

window7下手动启动MySQL-server

1、打开控制面板 点击->系统和安全点击->管理工具点击->服务->找到MySQL2、点击MySQL,进去就可以打开,停止MySQL服务了...
阅读(24) 评论(0)

Spark模拟实现某网站用户浏览次数最多的url统计

现在假设有一个IT教育网站,有Java,PHP,net等多个栏目,下面是模拟实现的网站日志第一个字段是访问日期,第二个字段是访问的URL,其中每个栏目有一个独立域名,如下:java.aaaaaaa.cnnet.aaaaaaa.cnphp.aaaaaaa.cn20160321101954 http://java.aaaaaaa.cn/java/course/javaeeadvanced.shtml...
阅读(33) 评论(0)

spark中算子详解:combineByKey

combineByKey是spark中更加底层,更加难理解,但却更灵活的一个算子这个算子需要传入三个函数第一个函数,是对每个分区的第一个值进行操作(这是本篇文章最重要的点) 第二个函数,是对每个分区进行操作 第三个函数,在第二个函数对每个分区操作产生结果后,对所有分区的结果进行聚合下面是具体的例子通过scala集合产生一个rddscala > val rdd1 = sc.parallelize(...
阅读(25) 评论(0)

spark中算子详解:aggregateByKey

通过scala集合以并行化方式创建一个RDDscala> val pairRdd = sc.parallelize(List(("cat",2),("cat",5),("mouse",4),("cat",12),("dog",12),("mouse",2)),2)pairRdd 这个RDD有两个区,一个区中存放的是:("cat",2),("cat",5),("mouse",4)另一个分区中存放的是:...
阅读(19) 评论(0)

使用 scala 实现单机版 WordCount

1、定义一个list,这个list里面模拟一行一行的文本数据val lines = List("hello aa bb cc ", "hello dd ee ff aa ", "hello kk hh jj")2、用map函数对lines按照空格进行切割val lineword = lines.map(_.split(" "))3、用flatten函数对lineword进行“压平”val words...
阅读(11) 评论(0)

区块链发展趋势

区块链技术是具有普适性的底层技术框架,可以为金融、经济、科技甚至政治等各领域带来深刻变革。按照目前区块链技术的发展脉络,区块链技术将会经历以可编程数字加密货币体系为主要特征的区块链1.0模式,以可编程金融系统为主要特征的区块链2.0模式和以可编程社会为主要特征的区块链3.0模式。目前,一般认为区块链技术正处于2.0模式的初期,股权众筹和p2p借贷等各类基于区块链技术的互联网金融相继涌现。然而,上述模...
阅读(21) 评论(0)

浅析“区块链”技术

以下是个人对区块链的一些理解,有理解不当之处,欢迎指正!最近一段时间,“比特币”可以说是一个全世界范围的热点话题。比特币 是一种网络虚拟货币。现实中的货币是由中央银行这样的具有集体公信力的国家机构发行以国家的权威强制来保证货币价值。但是比特币没有一个集中的发行方,它是由网络中的某台节点计算机计算出来的。任何拥有节点计算机的人都有可能参与比特币的制造。比特币的总数量是2100万个,也就是说这玩意和黄金...
阅读(11) 评论(0)

BigData数据导入工具sqoop入门

切记:sqoop底层跑的是mapreduce,但是它只有map任务而没有reduce任务!!!...
阅读(181) 评论(0)

Storm集群搭建

注意:安装storm的前提是必须安装好zookeeper,最好是在三台机子上搭建出来zookeeper。storm集群组件 1、主控节点(老大):master node 一个集群只能有一个老大,这个老大上运行一个叫做Nimbus的后台程序,负责在storm集群内分发代码,分配任务给工作节点(小弟),并且负责监控集群的在运行状态。 2、工作节点(小弟):work node 集群里可以有好多小...
阅读(32) 评论(0)

我如何在5台虚拟机上整合hadoop生态圈的各种组件(随笔)

经过本人的实际经验,如果采用手动搭配hadoop的各种组件的话,Java环境最好安装jdk1.7的版本。因为这个版本不旧不新,可以满足几乎整个hadoop生态圈组件的要求而很少会出现兼容性的问题。这样的话,你就可以首先在你的的机子上把hadoop集群搭好,然后在hadoop集群的基础上再装zookeeper集群实现hadoop的高可用。然后就能在在之前的基础上装hive(需要装MySQL)实现用hi...
阅读(235) 评论(0)

史上最详细安装JZMQ(jdk1.6下)

1、执行git clone https://github.com/nathanmarz/jzmq.git报错bash: git: command not found提示git没有安装,执行下面的命令yum install -y git然后,继续执行git clone https://github.com/nathanmarz/jzmq.git成功,接着进入jzmq目录中 cd jzmq/然后执行下面...
阅读(59) 评论(0)

史上最详细安装zeroMQ(前提是一定要配置好网络yum源)

1、下载ZeroMQ(如果下面的命令下载的太慢,就自己百度下载一个zeromq-2.1.7.tar.gz,然后上传到虚拟机里面)wget http://download.zeromq.org/zeromq-2.1.7.tar.gz2、解压ZeroMQ,重命名$ tar zvxf zeromq-2.1.7.tar.gz $ mv zeromq-2.1.7.tar.gz zeromq $ cd zero...
阅读(42) 评论(0)

Hive删除表

本章介绍了如何在Hive中删除表。当从Hive Metastore删除表,它删除了表/列的数据及其元数据。它可以是一个正常的表(存储在Metastore)或外部表(存储在本地文件系统); 不论什么类型Hive对待的方式相同。 Drop Table语句语法如下:DROP TABLE [IF EXISTS] table_name;以下语句为 删除一个名为 employee 的表:hive> DROP...
阅读(43) 评论(0)

Hive修改表

本章将介绍如何修改表的属性,如,修改表名,修改列名,添加列,并删除或替换列。不区分大小写Alter Table 语句语法ALTER TABLE name RENAME TO new_name ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...]) ALTER TABLE name DROP [COLUMN] column_name ALTER...
阅读(65) 评论(0)
30条 共2页1 2 下一页 尾页
    个人资料
    • 访问:1583次
    • 积分:289
    • 等级:
    • 排名:千里之外
    • 原创:28篇
    • 转载:2篇
    • 译文:0篇
    • 评论:0条
    文章存档