- 博客(19)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 HDFS元数据管理
1.元数据管理概述> HDFS分类-类型分包括以下几部分文件、目录自身的属性信息，例如文件名，目录名，修改信息等 文件记录的信息的存储相关的信息，例如存储块信息，分块情况，副本个数等 记录 HDFS 的 Datanode 的信息，用于 DataNode 的管理。> 按形式分内存元数据 内存 元数据文件两种 磁盘> HDFS 磁盘上元数据文件分为两类...
2018-11-06 15:15:58
967
原创 idea安装maven
Maven的安装配置，及IDEA使用Maven_</body>的博客-CSDN博客_idea安装mavenscala+Idea环境配置Scala（一）——scala+Idea环境配置 - KevinDwb - 博客园
2022-01-08 23:24:35
100
原创 CDH6.3安装
文章目录安装说明步骤说明下载CDH和CM环境准备网络名称修改关闭防火墙、禁止防火墙开机自启关闭 SELinux mode禁用透明页修改最大文件数安装jdk安装数据库全部删除MySQL/MariaDB(新机器直接跳过此步)增加mariaDB的yum源设置密码创建CDH数据库配置CM Server数据库CDH安装配置本地yum仓库 (manager节点)安装Cloudera Manager配置parc...
2020-03-18 20:53:58
2314
原创 第三周
文章目录python搭建环境linux环境下直接安装安装前准备安装 Python配置 Python为新版 Python 安装一些工具python env安装概要环境linux安装pyenv配置用户环境变量安装gcc pip setuptools安装openssl openssl-devel离线安装安装python3.6.4pandas概要Pandas数据结构介绍SeriesDataFrame函数清...
2019-11-17 23:56:39
214
原创 第三周环境安装，pandas学习
文章目录python搭建环境(按照腾讯云实验室安装)安装前准备安装 Python配置 Python为新版 Python 安装一些工具python env安装概要环境linux安装pyenv配置用户环境变量安装gcc pip setuptools安装openssl openssl-devel离线安装安装python3.6.4pandas概要Pandas数据结构介绍SeriesDataFrame函数清...
2019-11-17 23:53:03
345
原创 matplotlib官方文档整理
文章目录概述绘制图例plt.figureplt.subplot(a,b,c)绘制直方图，条形图，折线图plt.plotplt.barplt.barn图中设置添加属性plt.textplt.legend()plt.titleplt.xlabelplt.ylabelplt.xticksplt.yticks限制坐标轴plt.xlimplt.ylimplt.axis概述bar、barh、plot -...
2019-10-09 17:25:14
3556
1
原创 MySQL数据库建表规约
MySQL数据库(一) 建表规约【强制】表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsigned tinyint（ 1表示是，0表示否）。说明：任何字段如果为非负数，必须是unsigned。正例：表达逻辑删除的字段名is_deleted，1表示删除，0表示未删除。【强制】表名、字段名必须使用小写字母或数字，禁止出现数字开头，禁止两个下划线中间只出现数字。数据库字...
2019-10-09 17:22:36
296
原创 python快速搭建http服务
> 摘要:在 Linux 服务器上或安装了 Python 的机器上，可以使用 nohup python -m SimpleHTTPServer [port] & 快速搭建一个http服务。在 Linux 服务器上或安装了 Python 的机器上，Python自带了一个WEB服务器 SimpleHTTPServer。我们可以很简单的使用 python -m SimpleHTTP...
2019-10-09 17:17:46
150
原创 linux安装pyenv
文章目录概要环境linux安装pyenv配置用户环境变量安装gcc pip setuptools安装openssl openssl-devel离线安装安装python3.6.4概要在开发Python程序的时候，有时候可能需要在不同版本的Python上进行测试。pyenv就是这么一个管理多版本Python的工具。由于在Windows中我们可以同时安装多个版本的Python，所以这里是在Linux...
2019-10-09 17:00:39
753
原创 Linux环境安装Python3.6.4
Linux环境安装Python3.6.4CentOS7.4 Python-3.6.4安装包的解压路径在 /servers安装包的路径在 /software1.下载wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tgz2.解压tar -zxvf software/Python-3.6.4.tgz3.修改文件名m...
2019-07-30 21:29:00
553
原创 GDBC安装
gpdb安装环境：OS:CentOS Linux release 7.5.1804 (Core)GP:greenplum-db-5.3.0-rhel7-x86_64.zipJDK：1.8hostname:pys1.创建gpadmin用户：[root@pys gpadmin]#useradd gpadmin[root@pys gpadmin]#passwd gpadmin2....
2019-07-30 21:27:52
750
原创 (离线安装)CDH5.15-mariab10.1安装
文章目录环境下载CDH和CM基础准备网络名称修改查看当前操作系统环境以及主机映射关系打通SSH，设置ssh无密码登陆（所有节点）禁用防火墙(所有节点)关闭 SELinux mode（所有节点）python2.7禁用swappiness修改最大文件数禁用 Transparent Huge pages (THP)编写集群管理脚本批量执行服务的命令的脚本批量同步文件的脚本下载第三方依赖包（注意，依赖包所...
2019-07-30 21:17:53
817
1
原创 hive安装
创建时间: 2019/03/14 17:55内容：linux安装hive作者：yangyidong需要包解压hive配置环境变量为hive创建文件夹并授权，用于数据存储配置hive配置hive-env.sh配置hive-site.xmlmysql操作启动并登录mysql shell新建hive数据库配置mysql允许hive接入：添加mysql jdbc驱动包初始化mysql数据库Hive...
2019-03-16 12:03:52
128
原创 hadoop单机版腾讯云安装
创建日期: 2019/03/14 17:40创建人: yangyidong腾讯云安装环境更改主机名创建hadoop用户安装jdk配置环境变量免密码ssh设置安装下载hadoop-2.7.7创建hdfs中namenode,datanode的存储位置配置环境变量配置Configuration文件启动hadoopjps查看一旦Hadoop集群启动并运行，请检查组件的web-ui成功登陆安装成功~h...
2019-03-16 12:02:28
561
原创 linux安装mariadb
创建时间: 2019/03/14 17:50 内容: linux安装mariadb 作者: yangyidonglinux安装mariadb[TOC]##环境> CentOS7.2 10.1.38-MariaDB全部删除MySQL/MariaDB(新机器直接跳过此步)MySQL 已经不再包含在 CentOS 7 的源中，而改用了 MariaDB;查看rp...
2019-03-16 11:54:48
398
原创 hadoop整理
hadoop核心模块 hadoop Common:hadoop常用的工具类，由原来的Hadoop core部分更名而来 Hadoop Distributed File System(HDFS):分布式文件系统，提供对应用程序数据的高吞吐量，高伸缩性，高容错性访问。Hadoop体系中数据存储管理的基础 Hadoop YARN:任务调度和集群资源管理 Hadoop MapReduce:基...
2018-11-06 15:22:22
283
原创 sql提取身份证号信息--省市区县，年龄分组
sql提取身份证号信息--省市区县，年龄分组insert into test009select t8.name,t8.mobile,t8.idcard,t8.birthday,t8.age,t8.sex,t8.property,t8.constellation,t8.province,t8.age_group,t8.six_idcard,apa.desc1,t8...
2018-09-04 18:51:44
2980
原创 sql抽取身份证信息生日，年龄，星座，属性，
提取内容：birthday,age,sex,property(属性),constellation(星座),province,age_group,six_idcard,census_register insert into test008 select cvb4.name ,cvb4.mobile ,cvb4.idcard ,cvb4.birthday...
2018-09-04 18:49:02
2032
原创 MapReduce 编程规范及示例编写
MapReduce 编程规范及示例编写1.1编程规范 编程规范（1） 用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr 程序的客户端)（2）Mapper 的输入数据是 KV 对的形式（KV 的类型可自定义）（3）Mapper 的输出数据是 KV 对的形式（KV 的类型可自定义）（4）Mapper 中的业务逻辑写在 map()方法中（5）map()方法（mapt...
2018-06-06 22:49:15
1497
网盘变更、请删除资源
2018-10-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人