自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(21)
  • 资源 (1)
  • 收藏
  • 关注

原创 ElasticSearch_入门操作

1.创建索引对象curl -XPUT 'http://192.168.10.201:9200/demo_02'2.插入数据curl -H "Content-Type:application/json" -XPUT 'http://192.168.10.201:9200/demo_01/emp/5' -d '{"name":"xiao","age":56,"sex":"女","salary":1000}'3.查询数据--------------------查询指定id的信息curl -XGET

2020-10-21 20:23:25 4

原创 MySQL异常_java.sql.SQLException: Access denied for user ‘root‘@‘124.160.227.218‘ (using password: YES)

一、可以尝试直接设置免密登陆/etc/my.cnf 中进行编辑:skip-grant-tables最后 重启mysql服务: systemctl restart mysqld二、进行权限设置1、查看 mysql 初始的密码策略SHOW VARIABLES LIKE 'validate_password%'; 2、指定密码的强度验证等级 set global validate_password_policy=LOW; 3、固定密码的总长度set global validate_p

2020-10-13 20:30:13 15

原创 15、Spark_RDD算子——AggregateByKey

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-10-12 21:25:39 7

原创 14、Spark_RDD算子——CombineByKey_ReduceByKey转换

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-10-12 21:23:08 7

原创 13、Spark_RDD算子——CombineByKey_GroupByKey转换

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-10-12 21:11:36 6

原创 12、Spark_RDD算子——MapPartitionWithIndex

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-10-12 21:09:21 6

原创 11、Spark_RDD算子——CoalesceAndRepartition

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-10-12 21:07:27 4

原创 10、Spark_RDD算子——MapPartition

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-10-10 17:19:47 11

原创 9、Spark_RDD算子——SortByKey

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-10-10 17:17:30 9

原创 8、Spark_RDD算子——GroupByKey

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-10-10 09:03:14 18 1

原创 7、Spark_RDD算子——Join

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-10-10 08:59:25 13 2

原创 6、Spark_RDD算子——Distinct

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-10-10 08:55:50 3

原创 5、Spark_RDD算子——Union

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-10-10 08:52:55 4

原创 4、Spark_RDD算子——sample

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-09-29 08:56:48 12

原创 3、Spark_RDD算子——filter

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-09-23 19:56:02 12

原创 2、Spark_RDD算子——flatMap

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-09-23 19:53:37 6

原创 1、Spark_RDD算子——Map

一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext

2020-09-23 19:50:41 7

原创 Zookeeper几个概念解读

zookeeperzookeeper是Hadoop和Hbase的重要组件。主要用于解决分布式集群中应用系统的一致性问题。一、zookeeper的特点1.也是一个分布式集群,一个领导者leader 。 多个跟随者 follower2.集群只要又半数以上的节点存活,zookeeper集群就能正常服务3.全局数据的一致性,每个server保存一份相同的数据副本,client无论到哪个server,数据都是一致的4.更新请求按照顺序进行,来自同一个client的更新请求按其发送顺序依次执行5.数据更新

2020-09-23 19:34:55 9

原创 Hadoop——三种模式安装教程

集群搭建本地模式本地模式,也称为是单机版本。主要是为了测试使用的,基本不需要进行配置。以下的安装、配置,都在1节点上完成!1. 上传Hadoop的二进制文件安装包到/root/data/software中2. 将二进制文件解压安装到/usr/local下 tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/ 重命名这个文件夹,去掉版本号,为了方便后面的使用 mv /usr/local/hadoop-2.7.6 /usr/local/had

2020-09-23 19:32:22 10

原创 HDFS详解——大数据

HDFS一、大数据简介1、大数据特征1.Volume :巨大的数据量2.Variety:数据结构多样化 1.结构化的数据 -- 又固定格式和有限长度的数据 2.半结构化的数据 --是一些XML或者HTML的格式的数据 3.非结构化的数据 --现在非结构化的数据越来越多,就是不定长,无固定格式的数据,例如网页,语音,视频等3.Velocity: 数据增长速度快4.Value: 价值密度低2、数据采集或者同步的方式常用的数据采集导入框架 - sqoop : 用于RD

2020-09-22 12:57:39 40

原创 SHELL编程——基础部分

SHELL编程一、快速入门脚本以 #!/bin/bash 开头:告诉解释器以bash来解析脚本;编写myshell.sh文件:#!/bin/bashecho "Hello World" /*输出结果是 Hello World chmod a+x myshell.sh /*用来给脚本添加权限二、SHELL变量变量分类:1.自定义变量:A="Hello World"等等;2.系统变量:HOME、HOME、HOME、PWD、SHELL、SHELL、S

2020-09-22 12:43:36 7

SHELL编程详细教程——基础篇|学习笔记.md

主要针对shell编程的基础做一个阐述,其中包括基础的变量、常量、字符串、数组等的定义方式,一些比较运算符的详细介绍,分支判断语句、循环语句的基础用法、自定义函数的使用方法。还包括一些代码示例

2020-08-21

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除