- 博客(26)
- 收藏
- 关注
RSS订阅原创 JSONObject的put顺序问题
1、首先new JSONObjectimport com.alibaba.fastjson.JSONObject;public class Test1 {JSONObject jsonObj = new JSONObject();}2、查看源码public JSONObject() {this(16, false);}public JSONObject(int initialCa...
2020-03-03 11:32:08
4381
2
原创 解决org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode(Ljava/io/File;I)
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode(Ljava/io/File;I)V at org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWit...
2019-08-13 17:17:48
1126
原创 crontab实现定时任务
1.shell脚本#!/bin/bashecho "hello"2.定时任务* * * * * /root/b.sh >> /root/a.txt 2>&13.结果每分钟执行一次
2019-08-06 14:38:11
140
原创 kafka整合sparkStreaming
文章目录1.pom文件2.消费者3.生产者1.pom文件 <properties> <scala.version>2.11.8</scala.version> <hadoop.version>2.7.4</hadoop.version> <spark.version>2.0....
2019-08-06 11:19:31
145
原创 关于flume接受socket信息输入到IDEA
文章目录1.flume配置文件2.启动命令3.IDEA的Sparkstreaming代码演示1.flume配置文件a1.sources = s1a1.channels = c1a1.sinks = k1#定义agent的source属性a1.sources.s1.type = netcata1.sources.s1.bind = mastera1.sources.s1.port =...
2019-07-23 21:53:17
554
原创 Hive函数
自定义函数自定义函数包括：1.UDFUser-Defined-Function 一进一出1.1、继承UDF1.2、重写evaluate实现传入的参数，并且封装了很多的方法2.UDAFUser-Defined Aggregation Function聚合函数，多对一如：Count/max/min3.UDTFUser-Defined Table-Generating Funct...
2019-07-12 14:20:10
1439
原创 Scala面向对象编程之继承
文章目录1. Scala中继承(extends)的概念2. Scala中override 和 super 关键字3. Scala中isInstanceOf 和 asInstanceOf4. Scala中getClass 和 classOf5. Scala中抽象类6. Scala中抽象field1. Scala中继承(extends)的概念(1)、Scala 中，让子类继承父类，与 Java 一...
2019-07-12 14:16:48
448
原创 spark入门
文章目录1什么是Spark2为什么要学Spark3 Spark特点1什么是Spark（官网：http://spark.apache.org）Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的...
2019-07-11 09:20:21
168
原创 Scala面向对象编程之对象
文章目录Scala中的objectScala中的伴生对象Scala中的apply方法Scala中的main方法Scala中的objectScala中的伴生对象Scala中的apply方法Scala中的main方法
2019-07-10 22:01:29
178
原创 Spark集群安装
文章目录1 下载spark安装包2 规划安装目录3 上传,解压安装包4 重命名目录5 修改配置文件6 拷贝配置到其他主机7 配置spark环境变量8 启动spark9 停止spark10 spark的web界面1 下载spark安装包下载地址spark官网：http://spark.apache.org/downloads.html这里我们使用 spark-2.0.2-bin-hadoop2...
2019-07-10 14:49:54
133
原创 Scala类
文章目录类单列对象特质类定义：类是对象的抽象，而对象是类的具体实例。类是抽象的，而对象是具体的。类是用于创建对象的蓝图，他是特定类型的对象中的方法，变量的软件模板。构造器跟在类名后面的是主构造器，主构造器执行类定义中的所有语句。辅助构造器辅助构造器的名称为this，每一个辅助构造器必须先调用主构造器或其他已经定义好的辅助构造器单列对象特质...
2019-07-10 09:50:43
201
原创 Spark学习--------Scala循环控制语句、元祖、数组、集合
文章目录0.值类型隐式转换1.强制类型装换2.值类型和字符串类型的转换3.判断语句4.循环语句5.循环跳出语句6.元祖的介绍和使用7.数组的介绍和使用8.集合的介绍和使用0.值类型隐式转换 (高阶隐式转换和隐式函数,这里我们先不讲) &nbs...
2019-07-07 10:15:15
2071
原创 Scala在IDEA中安装
文章目录1.在IDEA中安装插件2.新建Scala项目1.在IDEA中安装插件2.新建Scala项目如果没有Scale SDK需要创建
2019-07-05 20:33:46
4132
2
原创 Spark学习--------Scala初识
文章目录1.为什么要学习scala?2.scala的介绍3.scala语言和Java语言对比4.编译工具的安装5.main方法讲解6.常量和变量7.scala中的数据数据类型8.懒加载9.差值器10.访问修饰符11.运算符12.类型转换1.为什么要学习scala?1)离线计算2)在线计算 spark scalaa.spark 底层是scala ,我们需要看源码b.scala 基...
2019-07-05 20:19:29
298
原创 HIve中的分区表和分桶表
导入数据的四种方式：1、将本地的数据导入到hive中load data local inpath '/root/tes.txt' into table test.usr;2、从hdfs集群导入数据load data inpath 'hdfs://node01:9000/user/tes.txt' into table test.te;这里的test.te指的是test数据库的te表LO...
2019-06-20 23:10:34
590
原创 Hive简介与SQL操作
Hive部署1.上传tar包2.解压tar -zxvf hive-1.2.1.tar.gz3.安装mysql数据库推荐yum 在线安装（运行脚本安装）4.配置hive（a）配置HIVE_HOME环境变量vi conf/hive-env.sh配置其中的$hadoop_home（b）配置元数据库信息vi hive-site.xml 添加如下内容： <config...
2019-06-19 22:03:09
455
原创 zookeeper集群搭建与原理分析
一、zookeeper的来源：Zookeeper是google的chubby的一个开源实现，是分布式的二、zookeeper的定义：分布式协调服务三、zookeeper架构：3.1、角色3.2、Watcher(监听)机制（1）有一个写入请求，将请求传给follower（2）fllower将请求转发给leader（3）leader将请求下发到各个follower,投票（4）f...
2019-06-18 22:00:56
214
原创 Hadoop---mapreduce架构概念
先来举个栗子：假如让你统计一个院子的车，统计每个品牌的车有多少个？你会怎么没去统计。铁蛋来了，说soeasy，从前统计到后，累成狗。那么，现在的扩大了，统计一个县城，或者一个区，你怎么去做。铁蛋叫来了他的狐朋狗友，铁柱，二虎，波仔，妞妞，小花等等。一个人负责一个院子。让后每人统计好，最会汇总。那么，是不是很快也很简单。铁蛋又拍着胸脯吹了个牛说。别说一个县，只要朋友多，那都不是事。这里...
2019-06-16 14:25:42
183
原创 MapReduce原理分析
HDFS理解（底层存储）分布式存储，将庞大的任务进行分散到各个节点上，每个节点负责一小部分，处理起来更加方便。HDFS底层依赖-----方便计算衍生出各种计算的东西-----到大数据发展到现在的技术的生态圈。MapReduceMapReduce是hadoop的核心组件之一，hadoop要实现分布式需要包括两部分，一部分是分布式文件系统hdfs，一部分是分布式计算框架mapreduceMa...
2019-06-15 07:56:07
165
原创 大数据学习之路------HDFS开发环境搭建与API
前面写了Linux的Hadoop集群搭建，现在需要把Lniux与eclipes连接起来。完成一些简单常用的api。搭建外部客户端：1、配置环境变量1.1 配置jdk的环境变量1.2 配置hadoop的环境变量变量名：HADOOP_HOME路径：1.3修改Path%HADOOP_HOME%\bin1.4修改系统用户名在系统变量中新建HADOOP_USER_NAME值为root...
2019-06-13 21:12:49
438
原创 集群搭建-----HDFS完全分布式搭建步骤（手把手教学）
(1)时间同步①各个节点安装ntp命令yum install ntp②上网查找最新的时间服务器ntp1.aliyun.com③同步时间ntpdate ntp1.aliyun.com(2)配置免密登录node01->node01 node01->node02 node01->node03 node01->node04①所有节点执行 ssh-keygen -t...
2019-06-13 10:11:03
463
原创 集群搭建-----HDFS伪分布式搭建步骤（手把手教学）
## 配置免密登录配置免密登录 node01->node01ssh-keygen -t rsassh-copy-id -i ~/.ssh/id_rsa.pub root@node011、上传文件ftp安装yum install lrzsz -y使用命令rz上传文件 jdk hadoop2、解压linux创建一个专门的安装包mkdir /opt/***为了...
2019-06-12 21:47:06
321
1
原创 大数据学习------secondary namenode 持久化（通俗易懂）
各司其职上来就举个栗子：namenode 我们这里说是总裁 简称NNdatanode 员工 简称DNsecondaryanamenode 副总 简称SNN为什要有这个副总呢？老板手里活太多了，需要一个人帮助，那么他能把这些机密的文件给秘书么，显然不能，所以副总就现身了。NN掌握一批元数据 （元数据就是描述数据的数...
2019-06-11 21:32:06
401
原创 大数据学习之路--HDFS
定义：根据个人理解，大数据是短时间产生大量的多种多样的有价值的信息特点Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）大数据概述为了解决数据量过大的问题，硬件支持1）垂直扩展 举个栗子:一个电脑储存满了，可加硬盘，但是只能加到最大限度。还不够怎么办。2）水平扩展 水平扩展就来了...
2019-06-10 21:40:53
1791
1
原创 shell脚本
这里写自定义目录标题shell的出现原因需要编写Shell脚本进行管理，减缓某一些工作举个栗子：我们有1000个用户，需要查看每个用户的主目录，那么需要1000次的操作，而用shell脚本语言，我们只需写一次就可多次使用，大大减少了工作量。shell文件的规范文件开头第一行解析头标识：#！/bin/bash 或#！/bin/sh第一个shell脚本打开文本编辑器(可以使用 vi/...
2019-06-10 15:30:33
269
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人