![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 59
曼路
心有猛虎,细嗅蔷薇。
展开
-
MapReduce操作实例
一、wordcount(1)纯本地运行要点:有一个combiner方法,可以在执行完map时调用,从而对数据进行先一步的处理,降低Reduce的IO压力。MapTask.javaimport java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.L...原创 2018-08-27 18:49:13 · 1283 阅读 · 0 评论 -
SparkStreaming_Kafka_Redis整合
1.将kafka streaming 和 redis整合 实现词频统计 Producer.class 生成数据daokafkapackage day14;/** * 创建一个生产者 生成随机的key 和 字母 * 用于实现实时流统计词频 并 存储到redis */import org.apache.kafka.clients.producer.KafkaProduce...原创 2018-10-14 20:56:53 · 1062 阅读 · 0 评论 -
SparkStreaming学习笔记
一、Spark Streaming基础 1:什么是SparkStreaming? (*)Spark Streaming是核心Spark API的扩展,可实现可扩展、高吞吐量、可容错的实时数据流处理。数据可以从诸如Kafka,Flume,Kinesis或TCP套接字等众多来源获取,并且可以使用由高级函数(如map,reduce,join和window)开发的复杂算法进...原创 2018-10-14 21:17:55 · 249 阅读 · 0 评论 -
SparkStreaming编程实现
1.产生实时流nc -lk 1234hello hadoop wordhello spark hbasehive hello china2.MyNetworkWordCount.scalapackage day10import org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfi...原创 2018-10-14 21:49:47 · 281 阅读 · 0 评论 -
Spark Core 学习笔记
SparkCore学习笔记1:Spark Core:内核,也是Spark中最重要的部分,相当于Mapreduce SparkCore 和 Mapreduce都是进行离线数据分析 SparkCore的核心:RDD(弹性分布式数据集),由分区组成 2:Spark Sql:相当于Hive ...原创 2018-09-29 20:53:09 · 444 阅读 · 0 评论 -
SparkSql学习笔记一
一、SparkSql介绍1.简介 Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 为什么要学习Spark SQL? 我们已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduce的程序的复杂性,由于MapReduce这...原创 2018-09-30 10:57:13 · 209 阅读 · 0 评论 -
Spark 实现两表查询(SparkCore和SparkSql)
项目需求:ip.txt:包含ip起始地址,ip结束地址,ip所属省份access.txt:包含ip地址和各种访问数据需求:两表联合查询每个省份的ip数量SparkCore使用广播,将小表广播到executor.对大表的每条数据都到小表中进行查找。package day07import java.sql.DriverManagerimport org.apache....原创 2018-09-30 11:08:35 · 3874 阅读 · 0 评论 -
数据仓库问题总结
1.在关系模型中,实现“关系中不允许出现相同的元组”的约束是通过 “主键” 完成的。2.在MySql中,concat函数的作用是是将传入的参数连接成为一个字符串,则concat(’aaa’,null,’bbb’)的结果是( NULL)3.关于添加带自增列的数据:自增的列无须显式地添加。如需添加全部字段数据时,仅需表名,可省略全部字段4.YARN支持的调度语义: 请求节点no...原创 2018-12-03 19:37:31 · 2479 阅读 · 0 评论 -
大数据面试总结
1.spark面试题:https://blog.csdn.net/wodwl/article/details/833014222.大数据学习题库:http://www.k6k4.com/simple_question/qlist?cat1=43.java面试常见问题https://www.cnblogs.com/java1024/p/7685400.html...原创 2018-12-27 12:59:30 · 287 阅读 · 0 评论 -
hive 窗口分析函数
hive 窗口分析函数0: jdbc:hive2://localhost:10000> select * from t_access;±---------------±--------------------------------±----------------------±-------------±-+| t_access.ip | t_access.u...原创 2018-12-24 17:20:07 · 182 阅读 · 0 评论 -
Redis学习笔记
优秀文档:https://www.cnblogs.com/bigben0123/p/9115597.html1:redis的简介和特点 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 (*)前身:Memcached (*)区别:支持持久化,RDB、AOF ...原创 2018-10-14 20:25:33 · 186 阅读 · 0 评论 -
Kafka学习笔记
一、Kafka介绍 1.1简介 Apache Kafka 是分布式发布-订阅消息系统(消息中间件)。它最初由 LinkedIn 公司开发,之后成为 Apache 项目的一部分。Kafka 是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。Apache Kafka 与传统消息系统相比,有以下不同:它是分布式系统,易于向外扩展; 它同时...原创 2018-10-14 19:46:07 · 340 阅读 · 0 评论 -
Flume学习笔记
flume学习笔记 一、什么是Flume? Apache Flume 是一个从可以收集例如日志,事件等数据资源,并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务,或者数集中机制。flume具有高可用,分布式,配置工具,其设计的原理也是基于将数据流,如日志数据从各种网站服务器上汇集起来存储到HDFS,HBase等集中存储器中。二、flume特性 F...原创 2018-10-14 18:09:11 · 491 阅读 · 0 评论 -
HDFS基本操作
一、hadoop搭建 1、修改主机名 2、ip等 3、主机映射 4、关闭防火墙(两种) 5、ssh免密登录(免密脚本) 6、安装jdk 配置环境变量 7、安装hadoop 配置文件的修改 hadoop-env.sh JAVA_HOME core-site.xml 客户端参数 n...原创 2018-08-21 20:54:02 · 1278 阅读 · 0 评论 -
ZooKeeper学习
一、Zookeeper概念简介1.zookeeper是为别的分布式应用程序提供协调服务的。2.zookeeper本身就是一个分布式程序,(只要有半数节点存活,就能正常服务。适合奇数节点)3.提供的服务:主从协调,服务器节点动态上下线,统一配置管理,分布式共享锁,同意名称服务。4.底层只有两个服务: 管理(存储,读取)用户程序提交的数据 并...原创 2018-09-07 21:21:50 · 207 阅读 · 0 评论 -
Hive学习
一、什么是hive? Hive是基于Hadoop的一个数据仓库工具(离线),可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。特点:可扩展Hive可以自由的扩展集群的规模,一般情况下不需要重启服务。延展性Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数。容错良好的容错性,节点出现问题SQL仍可完成执行。二、安装hive...原创 2018-09-03 18:44:14 · 349 阅读 · 0 评论 -
Sprak学习--Maven实现之pom.xml配置
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://原创 2018-10-12 10:47:12 · 164 阅读 · 0 评论 -
spark求最受欢迎的老师的问题
文件内容:http://bigdata.edu360.cn/zhangsanhttp://bigdata.edu360.cn/zhangsanhttp://bigdata.edu360.cn/lisihttp://bigdata.edu360.cn/lisi1.求最受欢迎的老师,不考虑课程类别(然后类似于wordCount)import java.net.URLimpor...原创 2018-10-12 11:18:39 · 1050 阅读 · 6 评论 -
Spark实现排序
question: 用spark对数据进行排序,首先按照颜值的从高到低进行排序,如果颜值相等,在根据年龄的升序排序1.User类继承ordered,并且序列化package cn.edu360.spark.day06import org.apache.log4j.{Level, Logger}import org.apache.spark.rdd.RDDimport org.ap...原创 2018-09-27 21:22:27 · 1902 阅读 · 0 评论 -
Scala学习笔记
大数据框架(处理海量数据/处理实时流式数据) 一:以hadoop2.X为体系的海量数据处理框架 离线数据分析,往往分析的是N+1的数据 - Mapreduce 并行计算,分而治之 - HDFS(分布式存储数据) - Yarn(分布式资源管理和任务调度) 缺点: ...原创 2018-09-27 22:00:50 · 788 阅读 · 0 评论 -
Spark工具包
1.ApacheAccessLog解析下列数据194.237.142.21 - - [18/Sep/2013:06:49:18 +0000] "GET /wp-content/uploads/2013/07/rstudio-git3.png HTTP/1.1" 304 0 "-" "Mozilla/4.0 (compatible;)"183.49.46.228 - - [18/Sep/...原创 2018-10-12 21:52:39 · 583 阅读 · 0 评论 -
SparkCore 编程
1.sparkCore实现wordCount(Idea+scala)import org.apache.spark.{SparkConf, SparkContext}object wordCount { def main(args: Array[String]): Unit = { //设置本地运行 2核 val conf = new SparkConf().se...原创 2018-10-12 22:01:03 · 214 阅读 · 0 评论 -
KafKa 代码实现
1.消费者import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaConsumer;import org.apache....原创 2018-10-12 23:13:27 · 1866 阅读 · 0 评论 -
三种方法解决 Job for network.service failed. See 'systemctl status network.service' and 'journalctl -xn'问题
&amp;amp;amp;nbsp;Failed to start LSB: Bring up/down networking 问题&amp;amp;amp;nbsp;1、执行&amp;amp;amp;nbsp;service network restart&amp;amp;amp;nbsp;出现以下错误Restarting networ转载 2019-02-21 20:10:23 · 11906 阅读 · 3 评论