- 博客(62)
- 收藏
- 关注
RSS订阅原创 Hadoop(四) MapReduce+Yarn运行机制
之前详细介绍了HDFS的运行机制:HDFS运行原理，今天介绍一下Hadoop中另外两个关键的组成部分：MapReduce和Yarn的运行机制。 首先普及一下概念： HDFS：负责海量数据的存储 MapReduce：负责海量数据的分析和计算 Yarn：负责资源管理调度一、Yarn运行机制一个MapReduce程序完成后，需要提交给yarn执行。具体的机制如下：Hadoop运行jar包，启动一
2017-12-19 22:42:16
719
原创 (Hadoop学习笔记-3) HDFS工作原理
一、HDFS最基本运行流程 1.组成： NameNode： 存放文件的元数据信息(数据分成了多少个block，多少副本，不同的block分到了哪些DataNode上)，也即hdfs文件系统中的文件与真实的block之间的映射关系。其格式为：filename,replicas,block_id,id2host(文件名，副本数，block_id，block到主机NameNode的映射)，结合上图好好
2017-12-15 22:08:16
760
原创 ssh登录原理及免密登录
一、ssh登录原理之前 这篇博客:将Linux设备设置为服务器 ，是让windows访问server的。现在想用linux主机访问另一台linux主机，实现免密登录，其登录原理如下： 二、免密登录的实现按原理走就行了(事先在两台机器的/etc/hosts文件中添加ip) 1. client generate a pair of keysssh-keygen -t rsa一切按默认设置即可 2.
2017-12-14 16:52:11
667
原创 (Hadoop学习笔记-2) HDFS常用Shell命令
首先，这篇博客里的命令来源于官方文档：Hadoop Shell命令官方文档 需要详细了解所有命令的可以前往。1. ls usage:hadoop fs -ls hdfs://<host name>:9000/<path> #hdfs表示HDFS文件系统hadoop fs -cat file:///<path> #file表示本地文件系统如果是文件，则按照如下格式返回文件信息： 文件名 <副本数>
2017-12-13 20:43:27
557
原创 (Hadoop学习笔记-1) Hadoop伪分布式安装
一、配置ssh服务参考我这篇博客二、安装JAVA环境1.下载JDK-8 在/usr/下建个文件夹，取名为JDK-8(这个大家随意)，将下载的jdk解压到此文件夹中 2.配置环境变量sudo gedit /etc/profile在文件末尾添加如下几行：(路径以你自己的为准)export JAVA_HOME=/usr/jdk-8/jdk1.8.0_151export JRE_HOME=$JAV
2017-12-11 22:21:35
382
原创 将linux设备设置为服务器
*linux系统采用的是Ubuntu一、开启ssh服务sudo apt-get update #可以先做个更新sudo apt-get install openssh-server检查ssh服务是否开启：ps -e | grep ssh如下所示，则为开启： 咦，我们发现有3个进程，我们把多余的关掉：sudo service ssh stop发现始...
2017-12-11 11:40:50
2043
原创 函数式编程
一、lambda函数二、map函数形式：map(function,list) 功能：将list中的元素依次作为function中的实参 三、filter函数形式：filter(function,list) 功能：function一般为判断函数，返回值为bool类型，将list中的元素作为实参传入function，将返回true的元素组成list输出 四、reduce函数形式：reduce(f
2017-12-04 22:15:30
423
原创 机器学习之决策树
在这里，我想以更直观的方式帮助各位理解、掌握并且运用【注意：是运用 】决策树，从而为机器学习作铺垫。 PS:但还是希望大家稍微知道决策树大概是什么样子。一、简单概念1.根结点(root node):没有入边，但有零条或多条出边 2.内部结点(internal node):恰有一条入边和 两条或多条出边 3.叶结点(leaf node): 恰有一条入边，无出边 4.熵(entropy):这个
2017-10-29 22:27:56
845
原创 Python之正则表达式入门
突然想整理一下以前学的比较重要的东西。趁吃饭前，把正则表达式整理下吧。(谨适用于入门)一、如何查找关键词格式：关键词，如there或There 输出：所有包含关键词的句子import rehandle = open('example.txt')for line in handle: line = line.strip() if re.search('there...
2017-10-29 14:13:24
513
原创 OpenCV(四)图像算术、混合
一、图像加减法# -*- coding: utf-8 -*-'''Created on 2017年10月06日 14时00分17秒 @author: mckee'''import cv2import numpy as npimg1 = cv2.imread('../sony6.jpg')img2 = cv2.imread('../sony2.jpg')#图像加减法eg1 = img
2017-10-28 11:11:24
401
原创 OpenCV(三) 通道、扩边、填充
一、通道、灰度值# -*- coding: utf-8 -*-'''Created on 2017年10月05日 星期四 16时45分37秒 @author: mckee'''import cv2import numpy as npimg = cv2.imread('sony.jpg')#图像中(100,100)处的灰度值px = img[100,100]print px#图像中（1
2017-10-28 09:56:50
2652
原创 OpenCV (二) 绘图
主要讲述： 1.绘制线段 2.绘制矩形 3.绘制圆 4.绘制椭圆 5.绘制多边形 6.绘制文字一、绘制线段import numpy as npimport cv2#创建一个黑色图层，700×700, 3个波段img = np.zeros((700,700,3), np.uint8)#arg1: 图层，arg2：起点 arg3：终点 arg4：BGR值， arg5:线的粗度cv2.
2017-10-27 22:09:12
368
原创 OpenCV(一)图像的打开与显示
一、使用matplotlib# -*- coding: utf-8 -*-'''Created on Thus Oct 5 13:41:30 2017@author: mckee'''import cv2from matplotlib import pyplot as pltimg = cv2.imread('../sony2.jpg',0)plt.imshow(img,cmap = '
2017-10-27 21:55:07
1566
原创 OpenCV之一些操作
博主在参照opencv官方教程的时候发现，轮廓检测时findContours函数与我的2.4.10不兼容，函数用法不一样。 help给出的是：输入两个参数，然而教程中确实按照3个参数来写的，因此觉得有必要记录一下。本文给出的示例代码是：# -*- encoding: utf-8 -*-import cv2img = cv2.imread('130.jpg')#由于findContours函数
2017-10-19 12:28:21
2115
原创 数据库之python+MySQL基本操作
处理数据，离不开数据库，不然怎么能说自己在处理数据呢。(开玩笑的^-^) 确实，有了数据库，对拥有丰富内容的数据进行解析，变得一目了然。 下面介绍下利用python对数据库MySQL进行的一些操作。 如果对数据库操作有所遗忘的朋友，可以看看这条链接：数据库之MySQL增删改查1. 连接到数据库import MySQLdbdb = MySQLdb.connect('localhost','ro
2017-10-11 22:06:21
906
原创 数据库之MySQL增删改查记录
先普及一个发音：MySQL = My Sequal首先，打开数据库:mysql -u root -p查看你有哪些数据库：show databases;进入其中一个数据库，我选择的是mapillary，因为我后面会从这个地图网站上爬数据。use mapillary;新建一个table ‘data’:create table data (img_key varchar(20), X double , Y
2017-10-11 19:52:31
6625
原创 import MySQLdb
首先我是在上午装上了MySQL和navicat这个可视化工具。然后下午准备将地图网站上的内容爬进去的时候，第一步import 就失败了。由于第一眼看网上的安装很多都感觉杂乱，于是决定给出一个简易有效的解决方法。1. sudo apt-get install libmysqlclient-dev 2.sudo pip install mysql-python3. import 成功
2017-10-11 14:55:58
850
原创 Ubuntu 16.04 + CUDA 9.0 + cuDNN v7 配置深度学习库caffe
博主是在T_H学长的帮助下完成安装的，考虑到很多人应该需要一个比较详细的安装过程，特意写下此教程，以及博主在安装过程中遇到的问题及solution。T_H学长的安装过程链接，大家可以结合参考**1. 安装Nvidia显卡驱动** 在系统设置->软件和更新->附加驱动中：将NVIDIA Corporation里的选项选为第一项。完成后需要重启。**2. 安装CUDA 8.0** 参照学长的
2017-09-20 22:34:17
1031
原创 关于python的一些错误及安装相关
本贴长期更新，收集一些常见的错误AttributeError: ‘module’ object has no attribute ‘_base’ solution： open cmd，then input： pip install --upgrade html5lib==1.0b8 os x下安装pipwget https://bootstrap.pypa.io/get-p
2017-09-20 13:14:54
549
原创 Ubuntu下为Python配置OpenCV
1. 首先是安装前的一些准备sudo apt-get install build-essential sudo apt-get install libgtk2.0-dev sudo apt-get install libavcodec-dev sudo apt-get install libavformat-devsudo apt-get install libjpeg62-devsudo
2017-09-19 17:51:13
1733
原创 安装 Linux双系统
Windows下安装Linux考虑到Linux系统配置深度学习框架较为方便，以及Windows下安装某些框架甚至需要VS2013，对于很多不用VS的同学来说，还要为了配置框架专门下个VS，真的很麻烦。因此本文针对很多安装Linux的用户容易遗漏的一些注意事项作出更详细的说明。环境与注意 Windows （mode： legacy）；硬盘类型 MBR；Linux系统(本人用的Ubuntu 16
2017-09-18 15:38:17
10705
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人