BigData
java劝退师
发牌的是上帝,出牌的是自己
展开
-
【Spark】Spark运行报错Task not serializable
文章目录异常信息出现场景解决方案分析异常信息org.apache.spark.SparkException: Task not serializableCaused by: java.io.NotSerializableException:出现场景跑Spark程序的时候有可能会出现。执行RDD行为的时候,map、filter等的方法使用了外部的变量,但是这个变量没有或者不能序列化以前...原创 2018-11-10 02:33:42 · 1018 阅读 · 0 评论 -
【BigData】Impala-Jdbc数据导入
文章目录前言ProjectApplication.ymlCore-code配置类数据导入爬坑日志下载IMPALA驱动包引入外部Jar包&打包的时候引入外部依赖JAR包使用IMPALA-URL连接而不是HADOOPAuthor前言CDH6 + IMPALA本地数据上传到 - > hdfs - >导入impalaProjectApplication.yml# 导入配置...原创 2019-07-03 22:28:35 · 708 阅读 · 0 评论 -
【Spark】Springboot搭建spark脚手架
文章目录前言装备ProjectNoteManvenApplication.ymlCore-codeSparkApplication(程序启动入口)SparkJob(抽象每个SparkJob的父类)job使用(demo)启动SparkJobGitHubAuthor前言Spark开发的脚手架。试过原生spark,spring+spark,springboot+spark,但不得不说,确实还是喜欢...原创 2019-04-19 01:10:34 · 5991 阅读 · 7 评论 -
【Hadoop】Hive-JavaAPI开发手册
文章目录前言装备CoreHive开启远程服务Maven依赖Result前言hadoop系列【Hadoop】Hadoop完全分布式集群搭建 https://blog.csdn.net/HuHui_/article/details/83960047【Hadoop】Hive搭建 https://blog.csdn.net/HuHui_/article/details/84202077【Had...原创 2018-11-19 22:53:00 · 1133 阅读 · 0 评论 -
【Hadoop】Hive搭建
文章目录前言装备进坑Core1. MySQL2. Hive跳坑总结前言这里介绍下hive安装,为后面hive的实操做铺垫。Hive来历Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。Hive究竟是什么?下面是wiki百科解释:Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼,查询和分析。它提供...原创 2018-11-18 17:02:08 · 296 阅读 · 0 评论 -
【Spark】SparkSql分析结果写入Mysql
文章目录前言装备Core Code1. Mysql数据库建结果表2. DB配置文件3. 搞个文件4. 数据分层5. SparkJob父类6. MetroAnalysisJob(具体业务sparkjob)7. SparkJob工具类8. MySQLjdbcConfig9. Running ResultGithub总结前言hadoop完全分布式集群搭建刚写完。还是先写一下应用。这里写一下spark...原创 2018-11-11 23:31:37 · 3922 阅读 · 4 评论 -
【hadoop】hadoop完全分布式集群安装
文章目录前言装备Core总结前言后面准备更新hdfs操作(shell命令版本),hbase,hive的操作。所以这里先更新一下hadoop集群安装。装备1.hadoop-2.6.5.tar.gz2.三台服务器(虚拟机就可以)3.centos7Core服务器规划后面我就直接说名字不说IP了(192.168.31.60)master(192.168.31.61)...原创 2018-11-11 17:04:00 · 342 阅读 · 0 评论 -
【Hadoop】HDFS-JavaAPI开发手册
文章目录前言准备Core Code创建文件夹创建新文件读取文件文件是否存在下载文件从指定目录上传文件到指定目录删除文件或文件夹追加内容重命名文件或文件夹列出指定文件夹的文件以及文件夹信息列出指定路径所有文件信息Github总结前言Hadoop家族有很多重要成员,下面列出来的是准备去搞的。hdfshbasehivesqoopzookperflume原理的东西,说简单很简单,说...原创 2018-11-07 23:39:10 · 1097 阅读 · 0 评论 -
【Spark】SparkRDD-JavaAPI开发手册(函数式编程)
文章目录前言遇到的大坑!装备CoreGithub总结前言不用怕,问题不大~github已更新scala版过段时间会再更新自夸一下…老实说,相比那些抄袭来抄袭去的blog,这篇RDD的JavaAPI…我是每个常用API都结合实例解释并且用了Java函数式编程写的…我这懒人够良心了…如果能帮到你们的话,我很开心。不需要抄博客,博客不是为了点击量,是为了总结自己,转载标明一下作者和链...原创 2018-11-10 02:35:19 · 831 阅读 · 0 评论 -
【BigData】Impala-Jdbc数据导入(2)集成kerberos认证
文章目录前言ProjectApplication.ymlCore-code配置类Kerberos认证工具数据导入爬坑日志configuration配置IMPALA的URLIMPALA执行操作需要使用LoginUser确认好了你的生产环境Kerberos没问题!!Author前言生产环境肯定需要开启kerberos的。这个时候坑就多了CDH6 + IMPALA + Kerberos本地数据上...原创 2019-07-05 16:51:13 · 488 阅读 · 3 评论