自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 RPC(Remote Procedure Call)

1.RPC是什么? RPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的...

2020-01-19 17:40:57 63 0

原创 hdfs操作

1.新建java工程。xia 2.导包。导入/share/hadoop/hdfs 下的hadoop-hdfs-2.7.7.jar包,/share/hadoop/hdfs/lib 下的所有包,/share/hadoop/common 下的hadoop-common-2.7.7.jar包 , /sh...

2020-01-19 15:40:09 69 0

原创 win7下搭建hadoop环境,出现ERROR namenode.NameNode: Failed to start namenode.

参考文章: https://blog.csdn.net/qq_35535690/article/details/81976032 hadoop环境已配置好,在使用hadoop namenode -format 命令启动运行的时候,报错 将hdfs-site.xml文件中的nameno...

2020-01-19 13:54:33 302 0

原创 hadoop下载文件出现的问题java.lang.NullPointerException

hadoop下载文件 代码如下: package week01; import java.io.FileInputStream; import java.io.IOException; import java.net.URI; import java.net.URISyntaxExcep...

2020-01-17 18:47:42 94 0

原创 使用封装好的方法上传文件

package week01; import java.io.FileInputStream; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.ap...

2020-01-17 18:07:01 77 0

原创 Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://week01:9000/aa/test.

hadoop程序问题,出现 Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://week01:9000/aa/test.txt,expected:file:/// 解...

2020-01-17 17:44:37 111 0

原创 HDFS(Hadoop Distributed FileSystem)

1.简介 ~ 高度容错性的分布式文件系统,适合部署在廉价的计算机上。 ~ Linux文件系统之上又构建了一个文件系统, ~ 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用 ~ 一个树形文件系统。可以创建、删除、移动或重命名文件和目录 ~ 一组计算机节点组成:一个NameNode提...

2020-01-16 17:44:54 163 0

原创 hadoop架构、组件

1.hadoop架构? ①底层(存储) ②中间层(资源及数据管理) ③上层(MapReduce、Impala、Spark等计算引擎) ④顶层(服务) 2.Hadoop组件? ①Pig和Hive Pig是一种编程语言,它简化了Hadoop常见的工作任务。Hive在Hadoop中扮演...

2020-01-16 16:29:55 45 0

原创 分布式文件系统

常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 Google学术论文,这是众多分布式文件系统的起源 ===========...

2020-01-16 16:03:37 60 0

原创 大数据初识

1.大数据的类型结构? 四种。 ①结构化数据。包括预定义的数据类型、格式和结构的数据。例关系型数据库中的数据。 ②半结构化数据。具有可识别的模式并可解析的文本数据文件。例自描述和具有定义模式的XML数据文件。 ③准结构化数据。具有不规则数据格式的文本数据,使用工具可进行格式化。例包含不一致的...

2020-01-16 11:17:24 127 0

原创 hdfs实现思想(机制)及hdfs shell

hdfs的实现思想: 1.hdfs是通过分布式集群存储文件,为客户端提供了一个便捷的访问方式,即虚拟的访问目录结构 2.文件存储到hdfs集群中去的时候是被切分成block(文件数据)的 3.文件的block存放在若干台datanode节点上 4.hdfs文件系统中的文件与真实的block之间有映...

2020-01-15 16:29:15 35 0

原创 java.io.IOException: Cannot create directory /home/app/hadoop-2.4.1/data/dfs/name/current

初始化hadoop时出现这个问题java.io.IOException: Cannot create directory /home/app/hadoop-2.4.1/data/dfs/name/current 解决:①查看配置的路径,是否由于路径原因导致的。 ②权限不足。给予权...

2020-01-15 11:39:50 218 0

原创 hadoop搭建伪分布式环境

1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段、子网掩码 -> apply -> ok 回到windows -->...

2020-01-15 10:41:47 60 0

原创 hadoop初识

1.hadoop是什么? hadoop之父是Doug Cutting。是由很多技术框架组成的生态系统,包括数据库(nosql)。Apache开源框架集群,做分布式计算和离线运算、实时运算。 受Google三篇论文启发出现的。(GFS、MapReduce、Big Table数据库) ...

2020-01-14 19:14:36 80 0

原创 kettle单表数据迁移---只是表数据迁移

目的:将test库下的student表的数据迁移到test1数据库下的student2表中。 数据库:都是mysql student、student2的创建表语句:[数据是我随便填的] CREATE TABLE `student` ( `userId` int(11) NOT NULL...

2019-09-20 15:35:24 126 0

原创 kettle简介及下载

企业数据仓库模型: 一、Kettle简介: ETL简介 ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少、介绍的ETL工具是Kettl...

2019-09-19 17:21:14 2057 0

原创 Kettle导入excel文件到数据库

1.下载kettle,我下了7和8两个版本,自行选择,lib下是数据库驱动包 链接: https://pan.baidu.com/s/1rEvzfnmqy5dk1WHDXrjgRw 提取码: fwnv 2.直接解压即可。在pdi-ce-7.1.0.0-12\data-integration\l...

2019-09-17 16:52:42 75 0

原创 Python-Linux-11.SSH-高级

自己写的大纲: 01确定目标/认识.ssh目录 免密码登录 配置别名 提示:有关SSH配置信息都保存在用户家目录下的.ssh目录下 02免密码登录设置步骤 免密码登录 步骤: 配置秘钥 执行ssh-keygen即可生成SSH钥匙,一路回车即可。 上传公钥到服务器 执行ssh-copy-...

2019-08-22 09:42:07 54 0

原创 Python-Linux-10.远程管理命令

自己写的大纲: 01关机和重启 目标 关机/重启 shutdown 查看或配置网卡信息 Ifconfig Ping 远程登录和复制文件: ssh scp 关机/重启: 序号 命令 对应英文 作用 ...

2019-08-21 17:25:40 80 0

原创 Python-Linux-9.其他命令

自己写的大纲: 9.其他命令 01echo和重定向 echo文字内容 echo会在终端中显示参数指定的文字,通常会和重定向联合使用 重定向> 和 >> Linux允许将命令执行结果重定向到一个文件 将本应该显示在终端上的内容输出/追加到指定文件中 其中 ...

2019-07-29 08:24:31 42 0

原创 Python-Linux-8.文件内容命令

自己写的大纲: 8.文件内容命令 01cat和more的基本使用和对比 序号 命令 对应英文 作用 01 cat文件名 concatenate ...

2019-07-25 11:07:04 49 0

原创 Python-Linux-7.拷贝和移动命令

自己写的大纲: 7.拷贝和移动命令 01目标确定和图形界面演示 序号 命令 对应英文 作用 01 tree[目录名] tree 以树...

2019-07-24 21:26:35 156 0

原创 Python-Linux-6.文件和目录命令

自己写的大纲: 6.文件和目录命令 01.明确命令分类和学习目标 文件和目录常用命令 目标: 02.分享命令补全和命令选择技巧 01查看目录内容 1.1终端使用技巧 03.查看隐藏文件和返回上一级目录 1.2ls命令说明 重点: 1.以.开头的文件为隐藏文件,...

2019-07-23 20:46:12 199 0

原创 Python-Linux-5.Linux命令

自己写的大纲: 5.Linux命令 01明确学习目标 目标 理解学习Linux终端命令的原因 常用Linux命令体验 01学习Linux终端命令的原因[明确学习技巧] 02常用Linux命令的基本使用 02放大缩小终端窗口字体 放大缩小终端窗口字体小技巧: 03明...

2019-07-23 20:37:21 255 0

原创 Python-Linux-4.Ubuntu图形界面基本使用

自己写的大纲: 4.Ubuntu图形界面基本使用 目标 4.1Ubuntu的任务栏 Windows任务栏的作用:windows上有任务栏,作用是打开多个窗口后,在任务栏会有相应的应用程序的图标,通过任务栏中的图标实现快速切换应用程序. Ubuntu任务栏:同windows任务栏类似 ...

2019-07-22 12:51:13 190 0

原创 Python-Linux-3.Ubuntu系统目录结构演示和简介

自己写的大纲: 3.Ubuntu系统目录结构演示和简介 目的:1.windows下和Linux文件系统的区别 2.Ubuntu的注意事项 3.1windows下和Linux文件系统的区别 Windows文件系统:打开盘符,盘符下有很多文件夹 Ubuntu文件系统:同window...

2019-07-22 12:47:51 46 0

原创 Python-Linux-2.Linux文件和目录结构

自己写的大纲: 2.Linux文件和目录结构 目标 01单用户操作系统和多用户操作系统 02Windows和Linux文件系统区别 2.1Windows下的文件系统 2.2Linux下的文件系统 2.3用户目录 2.4Linux主要目录速查表 ...

2019-07-22 12:46:13 46 0

原创 Python-Linux-1.Linux内核版及发行版

自己写的大纲: 二.Linux Linux内核版及发行版 1.1Linux内核版本 1.2Linux发行版本 十大Linux服务器发行版本排行榜: http://os.51cto.com/art/201612/526126.htm ...

2019-07-22 12:42:04 82 0

原创 pycharm

1.pycharm安装: 参考资料:https://blog.csdn.net/pdcfighting/article/details/80297499 2.python激活码: MTW881U3Z5-eyJsaWNlbnNlSWQiOiJNVFc4ODFVM1o1IiwibGljZ...

2019-07-22 12:38:32 56 0

原创 Pyhton安装教程

参考文档:https://blog.csdn.net/Mosicol/article/details/81530903

2019-07-22 09:29:31 30 0

原创 Pyhton-课程学习

自己写的大纲: 一.课程安排 1.课程安排 序号 内容 目标 01 Linux基础 让大家对ubuntu的使用能够从很陌生达到灵活操作 02 ...

2019-07-18 08:40:48 47 0

原创 Python

Pyhton是自学。 学习资料:哔哩哔哩 视频:Python教程_600集Python从入门到精通教程(懂中文就能学会) 网址:https://www.bilibili.com/video/av14184325 后期笔记是根据视频内容整理的。只为做个笔记参考。 笔记中的大纲在这有所变化,...

2019-07-18 08:27:34 63 0

转载 对数据仓库ODS DW DM的理解

今天看了一些专业的解释,还是对ODS、DW和DM认识不深刻,下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构,各个系统的元...

2019-07-16 08:23:30 656 0

原创 SQL Server2008r2安装

网盘地址: 链接: https://pan.baidu.com/s/11pxFr-Urf9eq1hNQ_Lqzgw 提取码: vti5 复制这段内容后打开百度网盘手机App,操作更方便哦 1.双击 2.完成后是这样的 3.点击setup.exe, 4.选择“全新安装或向现有安装添加...

2019-07-15 14:11:42 46 0

原创 VMware Workstation Pro12安装Ubuntu16.04

网盘链接: 链接: https://pan.baidu.com/s/1MMuJiJmasAU4E60Q4hhccQ 提取码: fic8 复制这段内容后打开百度网盘手机App,操作更方便哦 ubuntu镜像在Linux的ISO镜像中. 1.打开虚拟机VMware Workstation Pro...

2019-07-12 11:06:41 103 0

原创 解决tomcat黑窗口一闪而过的问题

找到start.bat文件 修改2处. 1.把倒数第二句的start换成run 2.在最后面加入pause,这个单词是防止黑窗口自动关闭的,黑窗口开启遇到意外就会停止 原版tomcat8.5的start.bat文件 @echo off rem Licensed to the Apach...

2019-06-18 18:27:23 502 0

原创 Oracle 集合运算

/* 集合运算: 并集: 将两个查询结果进行合并 交集 差集 所有的查询结果可能不是来自同一张表, emp 2000年 2017年 手机 详细信息...

2019-06-07 23:22:40 80 0

原创 Oracle rownum分页查询

/* rownum : 分页查询 在oracle中只能使用子查询来做分页查询 */ --查询第6 - 第10 记录 select rownum, emp.* from emp; select rownum hanghao, emp.* from emp; se...

2019-06-07 23:21:55 409 0

原创 Oracle rowid

/* rowid : 伪列 每行记录所存放的真实物理地址 rownum : 行号 , 每查询出记录之后,就会添加一个行号 */ select rowid,e.* from emp e; --去除表中重复记录 create table p( name varchar...

2019-06-07 22:54:37 481 0

原创 Oracle练习

一.--找到员工表中工资最高的前三名(降序排序) select * from emp order by sal desc; /* rownum : 伪列, 系统自动生成的一列, 用来表示行号 rownum是Oracle中特有的用来表示行号的, 默认值/起...

2019-06-07 22:39:50 215 0

提示
确定要删除当前文章?
取消 删除