大数据学习笔记(十四)-- hadoop介绍

Table of Contents   Hadoop简介  HDFS 存储模型 架构模型  NameNode DataNode  HDFS的优缺点 副本布置 HDFS读写流程 总结 ​ Hadoop简介  HDFS 存储模型 解释 : 已上传的Block大小...

2018-09-29 11:40:30

阅读数 455

评论数 0

大数据学习笔记(十三) -- 搭建lvs DR模型

lvs服务器下 , 在eth0网卡上在配置一个ip   /24 代表 netmask 为 255.255.255.0 所有基于内核的配置修改不能使用vi ,只能使用重定向 [root@node001 ~]# ifconfig eth0:8 192.168.46.100/24 [root@no...

2018-09-29 09:34:43

阅读数 54

评论数 0

大数据学习笔记(十二) -- network

Table of Contents   网络连接基础知识 关于nginx和LVS  S_NAT D_NAT LVS 模式一 LVS 模式二 (DR模式) LVS模式三 管道技术   VPN ​ 网络连接基础知识 下面有两幅图,第一幅是介绍 TCP/IP协议的4层分别在做什么,...

2018-09-28 11:12:54

阅读数 59

评论数 0

大数据学习笔记(十一) -- linux脚本编程(三)

Table of Contents   扩展 练习题 关键字 if while for 练习题 扩展 引号扩展 双引号可以扩展参数,可以嵌套,单引号不可以 [root@node001 sh01]# echo "$a" 99 [roo...

2018-09-26 22:45:18

阅读数 22

评论数 0

大数据学习笔记(十) -- linux脚本编程(二)

Table of Contents   IO流 重定向 输出重定向 输入重定向 变量 IO流 首先说明:我用的是xshell5连接的虚拟机实现在windows下操作linux操作系统。 一切的命令执行都设计 io 操作,我在命令行下输入一个命令,这个命令会传递给xshell5然后...

2018-09-26 15:22:08

阅读数 35

评论数 0

大数据学习笔记(九) -- linux脚本编程(一)之概念引入

Bash 不光能执行交互模式下的命令,还可以执行文本当中的命令。 执行 文本中的命令可以通过 source 或 .  如下 [root@node001 sh01]# cat sh01.sh ls -l / echo "hello world" [...

2018-09-25 21:30:11

阅读数 57

评论数 0

大数据学习笔记(八) -- linux中安装软件(安装中文帮助手册)

  Table of Contents   编译安装(make) rpm  yum 中文帮助手册 编译安装(make) 有些我们下载下来的压缩包,比如tengine-2.1.0.tar.gz(淘宝对nginx源码的改进版),我们将其传入到linux以后需要先解压缩. 一般压缩包的...

2018-09-25 19:46:35

阅读数 80

评论数 0

大数据学习笔记(七) -- linux的用户管理

Table of Contents   权限管理 创建用户 创建用户组 权限管理 r 可读,w 可写,x 对于程序来说可执行,文本一般没有x,对于目录来说可进入,所以一般目录都有x权限,否则没什么意义。 更改权限语法一 chmod augo +/- rwx 文件名 a 代表所有...

2018-09-24 17:33:18

阅读数 50

评论数 0

大数据学习笔记(六) -- linux的文本处理

Table of Contents   cut sort wc sed awk cut [root@node001 ~]# cat grep.txt aaa bbb ccc 111 222 xx yy zz oo qq ttt wwx 88888 666 AA BB C...

2018-09-24 16:04:23

阅读数 51

评论数 0

大数据学习笔记(五) -- linux中vi编辑器的快捷键以及正则表达式

Table of Contents 文本操作技巧 打开文件关闭文件 从编辑模式到输入模式的常用操作  在编辑模式下移动光标的快捷键  在编辑模式下,进行复制粘贴撤销操作  末行模式  正则表达式(grep) 文本操作技巧 打开文件关闭文件 [root@node001 ~]...

2018-09-23 17:50:45

阅读数 43

评论数 0

大数据学习笔记(四) -- linux常用命令(二)

Table of Contents   cat head 和 tail more 和 less 管道操作    | xargs 重定向输出流  >> tee cat 读取文件并显示到屏幕上,显示完毕以后会退出到交互行。  缺点是...

2018-09-23 15:53:34

阅读数 73

评论数 0

大数据学习笔记(三) -- linux的重要知识点以及相关命令(一)

Table of Contents   linux特点 根下目录含义 ls -l  输出的内容解释 type file yum man help ehco df mount和umout du useradd cd mkdir rm cp  mv ln st...

2018-09-23 14:29:38

阅读数 86

评论数 0

大数据学习笔记(二) -- 对虚拟机进行网络配置、以及克隆虚拟机

前言 大数据肯定是基于集群的搭建的,上一个学习笔记中已经将centOS6.5安装完毕,这次需要对虚拟机进行网络配置,配置与于windows中的网络连接配置类似,就是下面这几项 配置完毕以后,我们需要克隆这台配置好的虚拟机,一共需要克隆4台,然后分别进入4台虚拟机更改其ip,因为ip用来表示...

2018-09-20 21:52:37

阅读数 63

评论数 0

大数据学习笔记(一) -- 基于大数据的centos安装过程

首先说一下我的VMware是12,centOS是6.5  安装完VMware后,点击创建新的虚拟机,然后下图跟着步骤走进行                                          上面的 sda1 用来存放引导操作系统的...

2018-09-20 20:00:24

阅读数 107

评论数 0

git 学习笔记 二 (命令行大全)

Table of Contents   feature分支 多人协作  Rebase 标签 码云 忽略特殊文件 配置别名   feature分支 接收到一个新任务就创建一个新的feature分支用来完成任务 $ git checkout feature-任务名 我们在f...

2018-09-18 23:37:36

阅读数 20

评论数 0

git 学习笔记 一 (命令行大全)

Table of Contents 杂项 删除文件  恢复删除的文件  添加文件  回退或撤回到某版本  在github上创建远程仓库 从github将代码下载到本地 创建与合并分支 解决冲突 分支策略 Bug分支 杂项 $ git config --global u...

2018-09-17 23:51:35

阅读数 44

评论数 0

python学习笔记(三十九) -- yield from 、asyncio、async/await 、aiohttp

Table of Contents   前言 yield from asyncio async/await  aiohttp 前言 由于 cpu和 磁盘读写的 效率有很大的差距,往往cpu执行代码,然后遇到需要从磁盘中读写文件的操作,此时主线程会停止运行,等待IO操作完成后再继续进...

2018-09-16 22:07:57

阅读数 496

评论数 0

python学习笔记(三十八) -- send函数、close函数与yield关键字实现协程操作

前言 我们之前接触过多线程和多进程,他们可以完成两个甚至多个线程或进程通知执行不同得函数,并且可以通过函数来控制让其中一个线程等待另一个线程执行一部分代码以后再去执行,比如有两个A和B,线程1 执行一部分A,然后停止执行,等待线程2执行一部分B,然后线程2停止执行,再等待线程1执行A,执行完以后...

2018-09-16 15:50:22

阅读数 335

评论数 0

python学习笔记(三十七) -- 使用模板、重定向和转发

Table of Contents   前言 使用模板 重定向和转发 题外话 前言 上篇文章也说过了,在python中写前端代码肯定是不合适的,一是前后端耦合,二是在后端中写前端也没有代码提示是非常痛苦的。 所以一般情况,页面都是预先写好的,页面中有一些类似{{name}}的占位符...

2018-09-16 13:56:18

阅读数 157

评论数 0

python学习笔记(三十六) -- wsgi接口,flask

Table of Contents   前言 WSGI Web框架 -- flask 前言 客户端也就是浏览器,输入地址如 www.baidu.com ,然后dns会找到这个域名对应的ip地址,从而向该ip地址的服务器发送请求,服务器接收到请求,根据请求的内容,将页面信息再返回给浏览器...

2018-09-15 23:45:03

阅读数 383

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭