DT丶大牛-CSDN博客

原创 VMWare桥接模式无法浏览外网解决方法

1.首先确定是不是网络连接的问题：在虚拟机中打开终端ping 114.114.114.114 1.1 如果能ping通，则说明网络连接正确，就不要去找‘桥接模式连不上网’的解决方案了（大坑一），解决方案看2 1.2 如果不能ping通，则说明是网络连接的问题大多数情况修改‘虚拟网络编辑器’，将自动改为正确的网卡即可解决，可以参考https://jingyan.baidu.com/articl...

2018-08-24 17:51:59 6362 4

原创利用ZooKeeper搭建Hadoop的HA集群

Hadoop HA 原理概述为什么会有 hadoop HA 机制呢？　　HA：High Available，高可用　　在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF：A Single Point of Failure)。对于只有一个 NameNode 的集群，如果 NameNode 机器出现故障(比如宕机或是软件、硬件升级)，那么整个集...

2018-08-09 16:46:47 377

原创安装 Zookeeper 集群

ZooKeeper 软件安装须知鉴于 ZooKeeper 本身的特点，服务器集群的节点数推荐设置为奇数台。我这里我规划为三台，为别为 hadoop1,hadoop2,hadoop3 回到顶部 ZooKeeper 的集群安装 ZooKeeper 的下载下载地址：http://mirrors.hust.edu.cn/apache/ZooKeeper/ 此处使用的是3.4.10版本...

2018-08-09 16:45:48 217

原创 HDFS读取和写入过程

HDFS读取流程:客户端通过调用FileSyste对象的 open()方法来打开希望读取的文件,对于HDFS来说,这个对象是DistributedFileSystem的一个实例(图3-2中的步骤1)。 DistributedFileSystem通过使用远程过程调用(RPC)来调用 namenode,以确定文件起始块的位置(步骤2)。对子每一个块, namenode返回存有该块副本的datanode...

2018-05-17 22:27:21 1159

原创 python判断字符串是否包含子字符串的方法

python的string对象没有contains方法，不用使用string.contains的方法判断是否包含子字符串，但是python有更简单的方法来替换contains函数。方法1：使用 in 方法实现contains的功能：[py] view plain copysite = 'http://www.jb51.net/' if "jb51" in site: print('sit...

2018-05-15 21:36:21 4465

原创 python requests笔记

导入import requests1请求类型requests.request(method, url, **kwargs)1• method – 请求的方法 • url – 请求的url • params – url参数,字典或字节格式 • data – 请求体中的数据,字典或字节或file-like对象 • json – 请求体中的数据,json格式 • headers – 请求头,字典格式 •...

2018-05-15 10:15:22 213

原创 MySQL隔离级别

事务具有ACID四种特性。但是Isolation并发可能引起如下问题：1.脏读允许读取到未提交的脏数据。2.不可重复读如果你在时间点T1读取了一些记录，在T2时再想重新读取一次同样的这些记录时，这些记录可能已经被改变、或者消失不见。3.幻读解决了不重复读，保证了同一个事务里，查询的结果都是事务开始时的状态（一致性）。但是，如果另一个事务同时提交了新数据，本事务再更新时，就会“惊奇的”发现了这些新数...

2018-05-06 22:00:57 953 1

原创 mysql处理字符串的两个绝招：substring_index,concat

最近老是碰到要处理数据库中字符串的处理，发现用来用去也就是这两个函数：1、substring_index(str,delim,count) str:要处理的字符串 delim:分隔符 count:计数例子：str=www.google.com substring_index(str,'.',1) 结果是：www substring_ind...

2018-05-05 20:19:17 1010

原创 select count(*)和select count(1)的区别

一般情况下，Select Count (*)和Select Count(1)两着返回结果是一样的假如表沒有主键(Primary key), 那么count(1)比count(*)快，如果有主键的話，那主键作为count的条件时候count(主键)最快如果你的表只有一个字段的话那count(*)就是最快的 count(*) 跟 count(1) 的结果一样，都包括对NUL...

2018-05-04 17:05:10 19131

原创理解group by和聚合函数

先来看下表1，表名为test：表1　　执行如下SQL语句：12SELECT name FROM testGROUP BY name　　你应该很容易知道运行的结果，没错，就是下表2：表2　　可是为了能够更好的理解“group by”多个列“和”聚合函数“的应用，我建议在思考的过程中，由表1到表2的过程中，增加一个虚构的中间表：虚拟表3。下面说说如何来思考上面SQL语句执行情况：1.FROM te...

2018-05-04 16:59:24 134

行走在动物园之中!