2020年03月_Lan_xuaner

原创 MongoDB（二）常用操作之CRUD及小案例（进阶篇）

MongoDB（二）常用操作之CRUD及小案例1 Insert（增）db.collection.insertOne()db.collection.insertMany()新增单条数据（注：在插入文档前，文档所属的集合不必先创建，程序会自动创建）db.user.insertOne({ name: "nml", age: 26, birthday: new Date...

2020-03-31 22:36:49 261

原创 MongoDB（一）简介及基础操作（入门篇）

MongoDB（一）简介及基础操作（入门篇）1 数据类型1.1 BSON 文档 (Documents) 是 MongoDB 中数据的基本单元，它是键值对的有序集合，在数据结构上类似于 JSON，但是由于 JSON 只支持基本的 6 种数据类型：null，布尔，数字，字符串，数组和对象，因此其表达能力有限，所以 MongoDB 基于 JSON 拓展出新的数据格式 BSON 。BSON (Bi...

2020-03-31 21:47:53 335

原创 java之集合（List Set Map等）特点简述

Java之常用集合特点简述1 Collection 单列集合1.1 List （有序可重复）ArrayList：底层数组，查询快、增删慢，线程不安全，效率高，有索引，可重复Vector ：是老版本的 ArrayList ，唯一区别就是Vector是线程安全的LinkedList：底层链表（双端队列），查询慢、增删快，具备链表的特点1.2 Set 接口（无序唯一）HashSet：基于...

2020-03-29 12:39:42 167

原创 Oozie（二）之实现hive表导出到hdfs

Oozie（二）之实现hive表导出到hdfs一、Oozie简介 Oozie是Apache公司的顶级项目。 Oozie是大数据四大协作框架之一——任务调度框架，其他三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。它能提供对Hadoop MapReduce Jobs、Spark(Streaming) Jobs、Hive Jobs等的任务调度及协调，...

2020-03-28 13:24:01 440

原创 kafka系列一之常用shell命令

kafka系列一之常用shell命令 Kafka支持的基本命令位于kafka安装目录的bin目录下。1、启动Kakfa Kafka 的运行依赖于 zookeeper，要先启动 zookeeper，可以启动 Kafka 内置的 zookeeper，也可以启动自己安装的zookeeper# zookeeper启动命令bin/zkServer.sh start# 内置zookeeper启...

2020-03-26 16:51:51 330

原创 SparkStreaming之WordCount案例（累计统计）（二）

SparkStreaming之WordCount案例（累计统计）（二）一、案例简介使用 netcat 工具向 9999 端口不断的发送数据，通过 SparkStreaming 读取端口数据并累计统计不同单词出现的次数。二、netcat操作1、虚拟机中安装netcat[root@hadoop1 spark]# yum install -y nc2、启动程序并发送数据[root@had...

2020-03-24 15:45:54 422

原创 Oozie（一）之基本概念及实现hbase表数据写入hive案例

Oozie之基本概念及实现hbase表数据写入hive一、Oozie简介 Oozie是Apache公司的顶级项目。 Oozie是大数据四大协作框架之一——任务调度框架，其他三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。它能提供对Hadoop MapReduce Jobs、Spark(Streaming) Jobs、Hive Jobs等的任务调度...

2020-03-19 20:50:17 431

原创 Oozie之Web Console Is Disabled问题解决方法

Oozie之Web Console Is Disabled问题解决方法1、启动Oozie，登录Oozie Web Console1.1 Oozie Web UI入口1.2 登录后出现如下图提示2、进入XShell连接虚拟机安装库2.1 进入虚拟机中下载一个库（也可手动下载）wget http://public-repo-1.hortonworks.com/HDP-UTILS-GPL...

2020-03-17 10:07:53 1587 2

原创 Hive基础操作之删除数据库、分区、表、表数据

hive基础操作之删除数据库(database)、分区(partition)、表(table)、表数据1、删除数据库-- 删除库drop database if exists db_name;-- 强制删除库drop database if exists db_name cascade;2、删除分区2.1 删除具体partition-- 删除分区day_id=20200202...

2020-03-10 18:30:59 1024

weixin_45568892的博客