- 博客(62)
- 收藏
- 关注
RSS订阅原创 Spark优化
一、代码调优主对多次使用的RDD进行持久化对多次使用的rdd进行缓存 缓存级别一般使用 MEMORY_AND_DISK_SER如何选择一种最合适的持久化策略如果纯内存的级别都无法使用，那么建议使用MEMORY_AND_DISK_SER策略，而不是 MEMORY_AND_DISK策略。因为既然到了这一步，就说明RDD的数据量很大，内存无 法完全放下。序列化后的数据比较少，可以节省内存和磁盘的空间开销。同时该策略会优 先尽量尝试将数据缓存在内存中，内存缓存不下才会写入磁盘。通常不建议使用DIS
2022-01-12 15:12:21
247
原创 spark-sql 写代码方式
1、idea里面将代码编写好打包上传到集群中运行，上线使用 spark-submit提交2、spark shell (repl) 里面使用sqlContext 测试使用，简单任务使用 spark-shell --master yarn-client 不能使用yarn-cluster Driver必须再本地启动 3、spark-sql spark-sql --master yarn-client 不能使用yarn-cluster 可以整合hive 使用hive的元数据
2022-01-04 20:30:58
1148
原创 2、Pandas核心用法常用数据分析库 (下)
2、预备知识-python核心用法常用数据分析库（下）文章目录2、预备知识-python核心用法常用数据分析库（下）概述实验环境任务二：Pandas数据分析实战-1【任务目标】【任务步骤】**分析数据问题**任务三：Pandas数据分析实战-2【任务目标】【任务步骤】**处理问题一****处理问题二****处理问题三四**概述Python 是当今世界最热门的编程语言，而它最大的应用领域之一就是数据分析。在python众多数据分析工具中，pandas是python中非常常用的数据分析库，在数据分析，机器
2021-12-15 22:08:31
3656
原创 1、Pandas核心用法常用数据分析库(上)
1、预备知识-python核心用法常用数据分析库（上）文章目录1、预备知识-python核心用法常用数据分析库（上）**概述****实验环境****任务一：环境安装与配置****【实验目标】****【实验步骤】****任务二：Pandas数据分析实战****【任务目标】****【任务步骤】**概述Python 是当今世界最热门的编程语言，而它最大的应用领域之一就是数据分析。在python众多数据分析工具中，pandas是python中非常常用的数据分析库，在数据分析，机器学习，深度学习等领域经常被使用
2021-12-15 22:08:15
2074
原创 FlinkX的安装与简单使用
FlinkX的安装与简单使用文章目录FlinkX的安装与简单使用FlinkX的安装FlinkX的简单使用MySQLToHDFSMySQLToHiveMySQLToHBaseMySQLToMySQLFlinkX的安装安装unzip：yum install unzip1、上传并解压unzip flinkx-1.10.zip -d /usr/local/soft/2、配置环境变量3、给bin/flinkx这个文件加上执行权限chmod a+x flinkx4、修改配置文件，设置运行端口
2021-12-08 19:27:06
244
原创 DataX的安装及使用
DataX的安装及使用文章目录DataX的安装及使用DataX的安装DataX的使用stream2stream编写配置文件stream2stream.json执行同步任务执行结果mysql2mysql编写配置文件mysql2mysql.json执行同步任务mysql2hdfs编写配置文件mysql2hdfs.jsonhbase2mysqlmysql2hbasemysql2Phoenix在Phoenix中创建STUDENT表编写配置文件MySQLToPhoenix.jsonHDFSToHBaseDataX
2021-12-07 22:29:46
642
原创 SQOOP安装及使用
SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数据的方式使用Navicat运行SQL文件导出MySQL数据库importMySQLToHDFS编写脚本，保存为MySQLToHDFS.conf执行脚本注意事项：MySQLToHive编写脚本，并保存为MySQLToHIVE.conf文件在Hive中创建t
2021-12-06 19:25:42
112
原创 HBase优化
主从节点切换在某节点上运行./hbase-daemon.sh start master高可用在HBase中HMaster负责监控HRegionServer的生命周期，均衡RegionServer的负载，如果HMaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对HMaster的高可用配置。1．关闭HBase集群（如果没有开启则跳过此步） [atguigu@hadoop102 hbase]$ bin/stop-hbase.sh
2021-12-05 17:08:38
915
原创 Hbase 之Phoenix
Hbase适合存储大量的对关系运算要求低的NOSQL数据，受Hbase 设计上的限制不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀，一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式，Apache Phoenix即是。Phoenix 基于Hbase给面向业务的开发人员提供了以标准SQL的方式对Hbase进行查询操作，并支持标准SQL中大部分特性:条件运算,分组，分页，等高级查询语法。Phoenix使用1 、sqlline.py master,n
2021-12-03 23:10:55
931
原创 Hbase API
创建API表import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;import org.apache.hadoop.hbase.TableName;import org.a
2021-11-30 23:14:57
1027
原创 day20 JavaSe之File类
File类一、File是什么？二、File类的构造方法：1.public File(String pathname)2.public File(String parent,String child)3.public File(File parent,String child)三、File类的创建功能1. public boolean createNewFile()2. public boolean mkdir()3. public boolean mkdirs()四、删除功能1. public boole
2021-11-29 21:50:45
365
原创 hbase笔记01
HBase Shell操作1 基本操作1．进入HBase客户端命令行hbase shell 2．查看帮助命令 help 3．查看当前数据库中有哪些表 list2 表的操作1．创建表create 'student','info' 2．插入数据到表 put 'student','1001','info:sex','male' put 'student','1001','info:age','18' put 'student','1002','info:name','Jan
2021-11-29 21:48:40
83
原创 hive笔记04
with as 使用window as使用例子: select *, row_number() over w as num1, rank() over w as num2, avg(score) over (partition by clazz order by score desc rows between 1 PRECEDING and 1 FOLLOWING) as avg1, max(score) over (partition by clazz ord
2021-11-28 22:33:22
1251
原创 hive笔记03
UDF函数UDF：一进一出创建maven项目，并加入依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1</version> </dependency>编写代码，继承o
2021-11-27 22:34:00
84
原创 hive笔记day02
Hive连接ieda1.建表2.上传数据3.启动hiveserver2hive --service hiveserver2 &4.添加依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.6</versi
2021-11-25 22:59:25
93
转载 hdfs基本操作
hdfs分布式文件系统 ， 将一个大的文件拆分成多个小文件存储在多台服务器中，文件系统： 目录结构（树状结构） “/” 树根， 目录结构在namenode中维护1、创建目录 mkdirmkdir ： 创建目录/data ; 路径 ， 需要从 ”/“ 开始hadoop dfs -mkdir /data-p ： 递归创建多级目录hadoop dfs -mkdir -p /a/b/c2、查看文件ls 没有cd命令， 需要指绝对路径hadoop dfs -ls /data权限（
2021-11-24 09:20:39
378
原创 hive笔记day01
内部表基础建表内部表基础建表语句一:(默认指定文件类型为TextFile,HDFS路径为/user/hive/warehouse/库/下)格式:create table 表名(字段名1 字段类型1,字段名2 字段类型2,…)ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘分隔符’; // 必选指定列之间的分隔符内部表基础建表语句二:(HDFS路径为/user/hive/warehouse/库/下)格式:create table 表名(字段名
2021-11-23 22:53:20
1522
原创 zookeeper API
APIimport org.apache.zookeeper.CreateMode;import org.apache.zookeeper.ZooDefs;import org.apache.zookeeper.ZooKeeper;import java.io.IOException;public class ZKAPi { public static void main(String[] args) throws Exception { String coon="ma
2021-11-22 21:47:00
912
原创 java操作MapReduce代码
第一个mr程序 单词统计import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import
2021-11-21 20:55:24
960
原创 idea连接Hadoop操作指令
配置文件创建文件迭代删除获取当前目录下 所有文件的对象查看写入上传和下载import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.junit.Before;import org.junit.Test;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.InputStream
2021-11-19 20:58:22
1393
原创 redis
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、设置字符串值二、过期1.引入2.命令三、生存时间1.引入2.命令四、查找键1.引入2.命令五、键的操作1.引入2.命令六、位操作1.引入2.命令七、统计指定位区间上值为1的个数1.引入2.命令八、弹出元素 （可等于删除）1.引入2.命令九、获取指定位置的元素1.引入2.命令十、从列表头部开始删除值等于value的元素count次1.引入2.命令十一、去处指定范围外元素1.引入2.命令十二、插入元素1.引入2.命令十三、阻塞1.引
2021-11-15 22:52:00
487
原创 json转化为对象
import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;public class FastjsonTest { public static void main(String[] args) { String jsonstr="{\"id\":\"1001\",\"name\":\"zs\",\"age\":18,\"sex\":\"男\",\"clazz\":\"一班\"}";
2021-11-09 21:21:23
15338
原创 mysql之java操作
文章目录添加数据删除数据改数据查数据添加数据import java.sql.Connection;import java.sql.DriverManager;import java.sql.Statement;public class MYSQLInsert { public static void main(String[] args) throws Exception{ //1.加载驱动 Class.forName("com.mysql.jdbc.Dr
2021-11-08 21:05:22
556
原创 java连接mysql
import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;/** * 1.加载驱动(引用项目中的代码) 通过反射 * jdbc:mysql://master:3306/test * 2.获取连接(url[jdbc:mysql://master:3306/test] 用户名 密码) * * 3.sq
2021-11-08 19:47:42
57
原创 Shell
helloworld案例#!/bin/sh# 动态语言 string# 变量:取值 赋值# 取值都是通过变量名实现 # 赋值还是赋值给变量名x="test"echo $xx="world"echo $xecho "helloworld"var#!/bin/shname="zs"#thisiszs# $会把后面连在一起的东西(符合变量的规范)当做变量echo thisis${name}jingnian18#!/bin/sh# 位置变量用或不用都在哪# 从0开始($0永
2021-11-03 09:27:02
71
原创 day26JavaSe之网络编程
一、UDP编程1 UDP协议发送数据和接受数据发送数据import java.net.DatagramPacket;import java.net.DatagramSocket;import java.net.InetAddress;import java.net.SocketException;/* UDP协议发送数据 1、建立发送端的Socket对象 2、创建数据，并将数据打包 3、通过调用Socket的发送方法将数据包
2021-10-27 11:14:30
74
原创 day22 JavaSe之线程
获取线程的优先级public final int getPriority()返回此线程的优先级。设置线程的优先级public final void setPriority(int newPriority)更改此线程的优先级参数newPriority的范围为1-10之间newPriority > MAX_PRIORITY || newPriority < MIN_PRIORITY总结：1、线程的默认优先级为52、线程优先级的范围是1-103、线程优先级高仅仅表示的是获取CPU时间
2021-10-22 22:16:20
51
原创 day20JavaSe之异常
异常格式try{可能会出现问题的代码;}catch(异常的类名 变量名){针对问题的一些处理;}处理多个异常的情况1）每个异常都写一个try…catch2）写一个try,多个catchtry{可能会出现问题的代码;}catch(异常的类名 变量名){针对问题的处理;}catch(异常的类名 变量名){针对问题的处理;}…注意事项：1、能明确异常的类型的时候尽量明确，不要用父类大的作处理2、平级的关系，多个catch异常没有前后顺序关系，谁在前谁在后无所谓，一旦出现了父类
2021-10-18 21:26:53
62
原创 day19TreeSet类
学习目标：提示：1,掌握TreeSet类概述学习内容：TreeSet类1. TreeSet: 元素唯一，且元素的顺序可以按照某种规则进行排序 排序的方式有两种： 自然排序 比较器排序 TreeSet的俩个特点：排序和唯一public class TreeSetDemo { public static void main(String[] args) { //创建集合对象 //构造一个新的，空的树组，
2021-10-15 20:39:56
72
原创 day16 JavaSe之Collection接口成员方法
boolean addAll(Collection c):添加一个集合元素boolean removeAll(Collection c)：删除一个集合中包含的小集合中所有元素boolean containsAll(Collection c)：判断大集合是否包含小集合boolean retainAll(Collection c)：两个集合求交集，这里的boolean是什么意思呢？交集的元素去哪了呢？import java.util.ArrayList;import java.util.Colle
2021-10-11 22:06:52
42
原创 day16 JavaSe之List接口成员方法
List集合特有的功能：1、添加功能void add(int index, Object element) 将指定的元素插入此列表中的指定位置（可选操作）。2、获取功能E get(int index)返回此列表中指定位置的元素。3、ListIterator listIterator()List特有的迭代器返回列表中的列表迭代器（按适当的顺序）。4、删除功能E remove(int index) 删除该列表中指定位置的元素（可选操作）。5、修改功能E set(int index, Obj
2021-10-11 22:05:39
72
原创 day16 JavaSe之int类型与String类型的相互转换
int类型与String类型的相互转换 int --- String public static String valueOf(int i) String -- int -- Integer public static int parseInt(String s)public class IntegerDemo { public static void main(String[] args) { //int -- String
2021-10-11 22:02:33
60
原创 day16 JavaSe之对象数组类模板
需求：创建5个学生对象，将学生对象添加到集合中并遍历 1、创建学生类 2、创建学生对象集合 3、创建5个学生对象 4、将5个学生对象加入到集合中 5、获取迭代器对象 6、遍历迭代器public class CollectionDemo5 { public static void main(String[] args) { //创建学生对象集合 Collection c1 = new ArrayList();
2021-10-11 22:01:08
61
原创 day16JavaSe之包装类
需求1：将100这个数据计算出它的二进制，八进制，十六进制 需求2：如何用代码求出int类型的范围？ 为了对基本数据类型进行更多的操作，更方便的操作，Java就针对每一个基本数据类型 都提供了对应的类类型。叫做：包装类类型 包装类类型： byte Byte short Short int Integer long Lon..
2021-10-11 21:58:42
66
原创 day14总结
Object类的成员方法重点public int hashCode()System.out.println(S2.hashCode());public final Class getClass() System.out.println(S2.getClass().getName());public String toString()System.out.println(S2.toString());public boolean equals(Object obj) S
2021-10-10 16:14:18
36
原创 day15 JavaSe之 String,StringBuffer,StringBuilder的区别
1、String的内容不可变，而StringBuffer和StringBuilder的内容是可变的2、StringBuffer是同步线程安全的，数据安全，效率低StringBuilder是不同步的，线程不安全，数据不安全，效率高StringBuffer和数组的区别它们两个都可以被看作是一个容器，装一些数据但是呢，StringBuffer里面的数据都是字符串数据数组可以存放不同数据类型的数据，但是同一个数组只允许存放同一类型的数据看程序写结果：String作为参数传递传递的是值，对外面本身变
2021-10-10 11:02:00
61
原创 day15 JavaSe之StringBuffer类练习
String和StringBuffer的相互转换A–B,把A转化为B，为了是使用B的功能B–A，再把B转化为A，可能是最终的结果是需要A类型，所以还得转化回来public class StringBufferDemo7 { public static void main(String[] args) { //String -- StringBuffer String s = "hello"; //String类型不能直接赋值给StringBuff
2021-10-10 10:58:58
114
原创 day15 JavaSe之StringBuffer类概述及其构造方法
1、线程安全的2、安全，代表着有同步操作出现，数据是安全的，效率不高3、不安全，不同步，效率高4、安全问题和效率问题一直都是头疼的问题5、生活中哪些是线程安全的案例：线程安全：银行的一些业务，售票，医院取号。。不是安全问题的，效率高的：博客，视频会员。。public final class StringBuffer线程安全，可变的字符序列。字符串缓冲区就像一个String ，但可以修改。在任何时间点，它包含一些特定的字符序列，但可以通过某些方法调用来更改序列的长度和内容。简单记忆：它
2021-10-09 22:43:46
119
原创 day15 JavaSe之String类练习
把数组中的数据按照指定个格式拼接成一个字符串 举例：int[] arr = {1,2,3}; 输出结果：[1, 2, 3] 分析： 1、定义一个空字符串 2、先在字符串前面拼接一个"[" 3、遍历该int型数组，获取到每一个元素 4、判断是否读到了最后一个元素，如果是，在后面拼接上一个"]" 5、输出public class StringDemo13 { public static ...
2021-10-09 20:31:22
73
原创 day15 JavaSe之String类的其他功能
替换功能String replace(char old,char new)String replace(String old,String new)去除字符串两空格 String trim()按字典顺序比较两个字符串int compareTo(String str)int compareToIgnoreCase(String str)package com.shujia.java.day15;/* 替换功能 String repla
2021-10-09 20:12:33
60
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人