- 博客(11)
- 收藏
- 关注
RSS订阅原创 Docker
1.docker介绍 2.环境 虚拟机centos7 网络配置 vi /etc/sysconfig/network-scripts/ifcfg-ens32 BOOTPROTO=static ONBOOT=yes IPADDR=192.168.100.129 NETMASK=255.255.255.0 GATEWAY=192.168.100.2 DNS1=192.168.100.2 # DNS与网关一致 3.docker安装部署 yum install -y yum-utils # 因为会使用到yum-
2020-07-03 15:59:21
239
原创 DataX
DataX 官方地址：https://github.com/alibaba/DataX 1.介绍 DataX是一款异构数据源离线同步工具，可实现例如关系型数据库（mysql、Oracle），非关系型数据库（HDFS、hive、HBase）等各种异构数据源之间稳定高效的数据同步功能 2.框架介绍 DataX作为离线数据同步框架，采用framework+plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。 （1）Reader：Reader为数据采集模块，负责采
2020-06-30 14:22:02
582
原创 mysql笔记
注：最近出差，用到了MySQL，在这里复习一下~，Linux环境。 登录MySQL服务器 mysql -h127.0.0.1 -uroot -p[pwd -Ddb_name] -- 这样会直接进入该db_name库下 1.创建数据库 create database db_name; 2.创建用户及赋权 create user user_name@localhost identified by...
2019-12-25 16:14:33
160
原创 SQL之join连接方式
CBO（cost based optimizor）会根据join table的统计信息，选择Join算法、多表Join还有顺序问题。 join算法的三大连接方式： nested-loop join(嵌套循环连接) merge join(合并连接) hash join(哈希连接) 一：nested-loop join 嵌套循环连接，从外层循环表（默认为驱动表）的每一行开始循环遍历内层循环表（内表）直...
2019-06-12 16:19:12
340
原创 Hive
Hive笔记 –hive本质 将 SQL 语句转换为 MapReduce 任务运行 –查看hive版本 hive version –hive命令 hive #进入hive控制台 –查看数据库 show databases; –使用数据库 use default #默认default数据库 –查看数据库下表 show tables; –创建表（内部表） create table test( id...
2019-04-18 11:09:08
243
原创 QGIS3.4
QGIS笔记 –QGIS简介 1).开源，客户端程序 2).支持数据的可视化，管理，编辑与分析和印刷地图的制作 3).可运行在Linux、Unix、Mac OSX和Windows系统 4).支持多种矢量、栅格与数据库格式及功能 –安装QGIS 1).下载稳定版QGIS3.4 https://www.qgis.org/en/site/forusers/download.html# 2).如果不修改...
2019-04-17 15:51:36
3460
原创 HBase
HBase笔记 一：HBase简介 HBase是Big Table的开源版本，Java编写，是Hadoop的数据库，是建立在HDFS之上，被用来提供高可靠性，高性能，列存储，可伸缩，多版本的NoSQL的分布式数据存储系统，实现对大型数据的实时，随机的读写访问。 1).依赖于HDFS做底层的数据存储 2).依赖于MapReduce做数据计算 3).依赖于ZooKeeper做服务协调 4).HBase...
2019-04-16 11:07:47
132
原创 Python
python笔记 1.写入文件 with open(‘url’, mode=’’, excoding=‘utf-8’) as f: f.write(text) 2.爬虫 import requests response = requests.get(url, headers=headers, proxies=proxies, cookies=cookies) response.encoding =...
2019-04-13 19:35:27
151
原创 Azkaban
azkaban安装配置 一：前提条件： 安装MySQL 安装Git yum install git 二：azkaban安装 官网下载azkaban-3.70.0.tar.gz，rz上传至服务器/home/hadoop/apps，解压 tar -zxvf azkaban-3.70.0.tar.gz 在azkaban-3.70.0下编译 vi azkaban-3.70.0/azkaba...
2019-04-11 16:34:14
526
1
原创 sqoop
sqoop笔记 sqoop简介 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器（RDBFS）之间传送数据”的工具。 sqoop原理 将sqoop命令翻译成MapReduce程序来实现，在翻译出的MapReduce中主要是对inputformat和outputformat进行定制 sqoop安装 –下载，解压 tar -zxvf xxx.tar –创建软连接，修...
2019-04-09 09:19:00
206
原创 xPath
xPath笔记 xPath介绍 xPath是一门在XML文档中查找信息的语言。xPath用于在XML文档中通过元素和属性进行导航 XML节点 节点：元素，属性，原子值（文本），处理指令，注释，根节点，命名空间 节点间关系：父（parent），子（children），兄弟（sibling），祖先（ancestor），后代（descendant） 路径 绝对路径：/ # 根节点 相对路径...
2019-04-08 13:51:51
1610
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人