- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 VM挂载服务器安装Oracle，PL/SQL远程连接
VM挂载服务器安装Oracle，PL/SQL远程连接虚拟机及开发软件资料1. 挂载远程服务器2. 网络配置3. 服务器oracle安装4. PLSQL Developer安装与配置虚拟机及开发软件资料链接：https://pan.baidu.com/s/1gePQ1D-aUpkqI9fXFrWjkQ提取码：r5w31. 挂载远程服务器直接解压 01.windows2003.zip文件双击，执行扩展名为vmx的文件进入Vmware可以看到，服务器已经挂载上开启虚拟机之后2. 网络配置
2022-04-29 17:38:09
1784
原创 Hive的3种执行引擎区别与适用场景
1. Hive的3种执行引擎适用场景● Hive底层的计算由分布式计算框架实现,目前支持三种计算引擎,分别是MapReduce、Tez、 Spark。● Hive中默认的计算引擎是MapReduce ,由hive. execution. engine参数属性控制。MapReduce引擎：多job串联，基于磁盘，落盘的地方比较多。虽然慢，但一定能跑出结果。一般处理，周、月、年指标。Spark引擎：虽然在Shuffle过程中也落盘，但是并不是所有算子都需要Shuffle，尤其是多算子过程，中间过程不落盘
2021-12-06 21:40:44
6669
原创 java实现双链表
文章目录1. 结点类2. 定义DoubleLinkedList类 操作链表方法3. 测试双链表1. 结点类//定义HeroNode，每个HeroNode对象就是一个结点class HeroNode2 { public int no; public String name; public String nickname; public HeroNode2 next; // 指向下一个结点 public HeroNode2 pre; //指向上一个结点
2021-12-01 20:10:04
571
原创 java实现单链表
1. 定义结点类//定义HeroNode，每个HeroNode对象就是一个结点class HeroNode{ public int no; public String name; public String nickname; public HeroNode next; // 指向下一个结点 public HeroNode(int no, String name, String nickname) { this.no = no;
2021-12-01 19:57:46
387
原创 HBase架构中各组件功能及联系
1.Client 2. zookeeper 3. HMaster 4. RegionServer 5. Hlog 7. Region 8. Store 9. MemStore 10. StoreFile 11. HFile 各组件功能作用及联系
2021-12-01 19:40:37
3721
原创 Hive静态分区和动态分区（二）
文章目录Hive静态分区和动态分区1. 静态分区1.1 增加3个分区向每个分区中添加数据1.2 查询数据1.2.1 直接查询1.2.2 添加分区信息查询2. 动态分区开启Hive的动态分区支持2.2 建原始表2.3 建立分区表2.4 加载数据3. 多级分区Hive静态分区和动态分区1. 静态分区建立分区表create external table students_pt1( id bigint, name string, age int, gender strin
2021-11-27 10:16:59
2475
原创 Hive内部表和外部表（一）
文章目录Hive内部表和外部表1. 内部表加载数据删除表测试web界面查看，源数据已经被删除2. 外部表加载数据删除表测试web查看，源数据仍然存在Hive内部表和外部表删除内部表的时候，表中的数据（HDFS上的文件）会被同表的元数据一起删除删除外部表的时候，只会删除表的元数据，不会删除表中的数据（HDFS上的文件）一般在公司中，使用外部表多一点，因为数据可以需要被多个程序使用，避免误删，通常外部表会结合location一起使用外部表还可以将其他数据源中的数据 映射到 hive中，比如说：hbas
2021-11-27 10:04:10
1309
原创 ZooKeeper实现hadoop集群高可用
【提示】在已实现master，node1，node2三节点集群上进行重新新规划首先需停止原先集群运行：stop-all.shzookeeper搭建：点这里1. 集群规划如下： ZK NN DN RM NM JN ZKFCmaster 1 1 1 1 1node1 1 1 1 1 1 1 1node2 1 1 1 12. node1免密配置ssh-keygen -t rsa ssh-copy-id node1ssh-copy-id node23. 更新修改hadoo
2021-11-22 21:02:42
1680
原创 hadoop集群机架感知 -副本 存储节点选择策略
hadoop集群机架感知 -副本存储节点选择策略http://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication官方解释For the common case, when the replication factor is three, HDFS’s placement policy is to put one replica on the local mach
2021-11-19 21:26:41
1053
原创 Git配置本地及gitee远程仓库
文章目录Git安装配置本地及gitee远程仓库1.Git下载安装2.完成Git基本配置3.基本命令使用3.1 创建git仓库3.2 查看仓库状态3.3 向仓库中提交文件3.4 返回之前版本4.IDEA使用git4.1 创建git仓库6.网络未开启：进入-->控制面板\网络和 Internet\网络连接Xshell无法连接Linux的可能几种原因
2021-11-02 19:08:11
37033
4
原创 Sqoop实现mysql与hive数据表互相导入
文章目录1. 上传解压搭建sqoop1.1 解压后改名1.2 修改配置文件1.3 重命名1.4修改配置文件1.5拷贝mysql驱动包到/usr/sqoop/lib库下1.6 sqoop version查看版本1.7 测试连接2.将mysql中学生表导入到hive中2.1 先清空hive中的student表2.2 MysqlToHive.opt 文件内容2.3 执行命令3. 将hive中student表导出到mysql的学生表中3.1 先清空mysql中的学生表3.2 HiveToMysql.opt 文件
2021-10-25 19:51:20
705
原创 使用DataX实现mysql与hive数据互相导入
文章目录1.安装DataX1.1上传datax压缩包1.2解压至/usr目录下2. 使用DataX实现mysql中student表导数据到student2表。2.1在mysql中创建数据库2.2导入student.sql文件2.3创建student2表2.3 datax.py mysql2mysql.json2.4查看student2数据3. 使用DataX实现mysql的student表导入hive的student表。3.1 启动hive，创建数据库3.2 创建student数据表3.3 datax.p
2021-10-25 19:19:57
1656
2
原创 java集合常用方法及底层数据结构总结
文章目录java集合Collection和Map1. Collection1.1 Set（1）HashSet类（2）TreeSet类（3）EnumSet类1.2 List（1）ArrayList（2）LinkedList（3）Vector1.3 Queue（1）PriorityQueue（2）Deque接口与ArrayDeque实现类2. Map（1）HashMap（2）TreeMap3.集合底层数据结构（1）List：（2）Set：（3）Map：java集合Collection和MapJava的集合
2021-10-19 19:37:06
693
原创 java集合中ConcurrentModificationException 并发修改异常解决
java.util.ConcurrentModificationException 并发修改异常1.查看JDK APIpublic class ConcurrentModificationExceptionextends RuntimeException该异常继承RuntimeException当方法检测到对象的并发修改，但不允许这种修改时，抛出此异常。 例如，某个线程在 Collection 上进行迭代时，通常不允许另一个线性修改该 Collection。通常在这些情况下，迭代的结果是不确定
2021-10-16 09:36:47
7623
原创 java中String字符串常用API及实现
java中String字符串常用API1.String中的判断API，返回布尔值boolean equals(Object obj)boolean equalsIgnoreCase(String str)boolean contains(String str)boolean startsWith(String str)boolean endsWith(String str)boolean isEmpty() String s = "hello"; s += "wor
2021-10-09 20:31:00
411
原创 flume安装部署及使用
文章目录前言一、Flume定义二、Flume安装部署1.上传压缩包2.解压、修改配置文件2.1解压2.2修改配置文件三、Flume简单使用3.1 使用 Flume 监听一个端口，收集该端口数据，并打印到控制台*也可以使用telnet工具*前言本文对flume进行简单的介绍，及对flume进行安装和使用一、Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供
2021-06-13 13:13:01
624
原创 zookeeper安装配置与启动
1.使用Xftp上传压缩包2.解压至自己常用安装目录 /usr/tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz -C /usr/mv zookeeper-3.5.9 zookeeper #改名3.配置全局环境变量: vim /etc/profile 添加#zookeeperexport ZK_HOME=/usr/zookeeperexport PATH=$PATH:$ZK_HOME/binwq保存退出后，使配置生效source /etc/p
2021-06-12 14:45:12
1174
1
原创 实验5 Spark SQL 编程初级实践
实验5 Spark SQL 编程初级实践一、实验目的（1）通过实验掌握Spark SQL的基本编程方法。（2）熟悉RDD到DataFrame的转化方法。（3）熟悉利用Spark SQL管理来自不同数据源的数据。二、实验平台操作系统：LinuxSpark版本：2.4.5scala版本：2.11.8三、实验内容和要求1.Spark SQL基本操作将下列JSON格式数据复制到Linux系统中，并保存命名为employee.json。文件内容如下：{ “id”:1 , “name”:" E
2021-05-14 14:44:17
8915
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人