Cara_kou-CSDN博客

原创 Docker

1.docker介绍2.环境虚拟机centos7网络配置vi /etc/sysconfig/network-scripts/ifcfg-ens32BOOTPROTO=staticONBOOT=yesIPADDR=192.168.100.129NETMASK=255.255.255.0GATEWAY=192.168.100.2DNS1=192.168.100.2 # DNS与网关一致3.docker安装部署yum install -y yum-utils # 因为会使用到yum-

2020-07-03 15:59:21 193

原创 DataX

DataX官方地址：https://github.com/alibaba/DataX1.介绍DataX是一款异构数据源离线同步工具，可实现例如关系型数据库（mysql、Oracle），非关系型数据库（HDFS、hive、HBase）等各种异构数据源之间稳定高效的数据同步功能2.框架介绍DataX作为离线数据同步框架，采用framework+plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。（1）Reader：Reader为数据采集模块，负责采

2020-06-30 14:22:02 533

原创 mysql笔记

注：最近出差，用到了MySQL，在这里复习一下~，Linux环境。登录MySQL服务器mysql -h127.0.0.1 -uroot -p[pwd -Ddb_name] -- 这样会直接进入该db_name库下1.创建数据库create database db_name;2.创建用户及赋权create user user_name@localhost identified by...

2019-12-25 16:14:33 130

原创 SQL之join连接方式

CBO（cost based optimizor）会根据join table的统计信息，选择Join算法、多表Join还有顺序问题。join算法的三大连接方式：nested-loop join(嵌套循环连接)merge join(合并连接)hash join(哈希连接)一：nested-loop join嵌套循环连接，从外层循环表（默认为驱动表）的每一行开始循环遍历内层循环表（内表）直...

2019-06-12 16:19:12 288

原创 Hive

Hive笔记–hive本质将 SQL 语句转换为 MapReduce 任务运行–查看hive版本hive version–hive命令hive #进入hive控制台–查看数据库show databases;–使用数据库use default #默认default数据库–查看数据库下表show tables;–创建表（内部表）create table test(id...

2019-04-18 11:09:08 212

原创 QGIS3.4

QGIS笔记–QGIS简介1).开源，客户端程序2).支持数据的可视化，管理，编辑与分析和印刷地图的制作3).可运行在Linux、Unix、Mac OSX和Windows系统4).支持多种矢量、栅格与数据库格式及功能–安装QGIS1).下载稳定版QGIS3.4https://www.qgis.org/en/site/forusers/download.html#2).如果不修改...

2019-04-17 15:51:36 3369

原创 HBase

HBase笔记一：HBase简介HBase是Big Table的开源版本，Java编写，是Hadoop的数据库，是建立在HDFS之上，被用来提供高可靠性，高性能，列存储，可伸缩，多版本的NoSQL的分布式数据存储系统，实现对大型数据的实时，随机的读写访问。1).依赖于HDFS做底层的数据存储2).依赖于MapReduce做数据计算3).依赖于ZooKeeper做服务协调4).HBase...

2019-04-16 11:07:47 117

原创 Python

python笔记1.写入文件with open(‘url’, mode=’’, excoding=‘utf-8’) as f:f.write(text)2.爬虫import requestsresponse = requests.get(url, headers=headers, proxies=proxies, cookies=cookies)response.encoding =...

2019-04-13 19:35:27 132

原创 Azkaban

azkaban安装配置一：前提条件：安装MySQL安装Gityum install git二：azkaban安装官网下载azkaban-3.70.0.tar.gz，rz上传至服务器/home/hadoop/apps，解压tar -zxvf azkaban-3.70.0.tar.gz在azkaban-3.70.0下编译vi azkaban-3.70.0/azkaba...

2019-04-11 16:34:14 504 1

原创 sqoop

sqoop笔记sqoop简介sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器（RDBFS）之间传送数据”的工具。sqoop原理将sqoop命令翻译成MapReduce程序来实现，在翻译出的MapReduce中主要是对inputformat和outputformat进行定制sqoop安装–下载，解压tar -zxvf xxx.tar–创建软连接，修...

2019-04-09 09:19:00 188

原创 xPath

xPath笔记xPath介绍xPath是一门在XML文档中查找信息的语言。xPath用于在XML文档中通过元素和属性进行导航XML节点节点：元素，属性，原子值（文本），处理指令，注释，根节点，命名空间节点间关系：父（parent），子（children），兄弟（sibling），祖先（ancestor），后代（descendant）路径绝对路径：/ # 根节点相对路径...

2019-04-08 13:51:51 1574

sinat_27023109的博客