LC900730-CSDN博客

原创 Hadoop文件操作

JobtrackerJobtracker守护进程是应用程序和Hadoop之间的纽带。一旦代码提交到集群上，JobTracker就会确定执行计划，包括决定处理哪些文件，为不同的任务分配节点以及监控所有任务的运行。如果任务失败，JobTracker将会自动重启任务，但是所分配的节点可能会不同，同时会受到预定义的重试次数限制。每个Hadoop集群只有一个JobTracker守护进程，通常运行在服务器集

2017-11-23 22:32:11 361

原创 ElasticSearch基础

索引索引是ES对逻辑数据的逻辑存储，所以它可以分为更小的部分。可以将索引看成是关系数据库的表文档存储在ES中的主要实体叫做文档。一个文档好比一行记录。在ES中相同字段必须相同类型，如所有title字段的文档，title类型必须一致。分片和副本ES索引是由一个或多个分片组成的，每个文档包含了文档集的一部分。ES查询基本查询查询实际数据复合查询如布尔查询，可以合并多个查询

2017-11-22 23:35:09 242

原创 Hadoop中文件操作

hadoop文件的序列化Hadoop中序列化机制在每个类对象第一次出现时候保持了每个类的信息，如类名，第二次出现时候会有一个类的reference，导致空间浪费。Java序列化不能复用对象，Java反序列化时候每次需要构造出新对象。在Hadoop序列化机制中，反序列化的对象是可以复用的。Hadoop中定义了两个序列化相关的接口：Writable和Comparable，这2个接口可以合成一个Wr

2017-11-22 15:21:32 257

原创 hadoop中节点

namenode主要功能namenode提供名称查询服务namenode保存metadate信息。(包括oweership和permissions)。文件包含哪些块；Block保存在哪个Datanode(由DataNode启动时候上报)NameNode的metadate信息启动后会加载到内存。datanode主要功能Hadoop 集群包含一个NameNode和大量的DataNode保存bl

2017-11-22 14:13:38 2262

原创 DockerFile

格式1.FROMFROM <image>或者FROM <image>:<tag>第一条指令必须为FROM指令。如果在同一个Dockerfile中创建多个镜像时，可以使用多个FROM指令2.MAINTAINERMAINTAINER <name>，指定维护者信息3.RUNRUN <command>，或者RUN["executable","param1","param2"]前者在shell终端中执行

2017-11-20 21:36:57 296

原创 JavaApi操作Hadoop

//在上传的时候出现权限问题，解决方法是hdfs-site.xml中<property> <name>fs.permissions</name> <value>false</value></property>并且将hdfs的data目录权限开放。Java Api上传package cn.itcast.bigdata.hdfs;import java.io.IOException;

2017-11-20 18:47:56 306

节点启动正常，从节点失败从连接主的时候出现问题，查看日志发现，slave在连接master的端口失败，retry了多次。原因：腾讯云hosts文件不支持配置本主机的外网ip，master只监听了127.0.0.1的9002端口，而slave连接的是master(外网ip)的9002端口，因此出现slave连接master失败集群启动中配置顺序hadoop2.6.5core-site.xml<prop

2017-11-19 21:02:24 399

原创 Hadoop概念

Jobconf对象指定了作业的各种参数。它授予我们对整个作业如何运行对控制权。当我们在Hadoop集群上运行这个作业时，我们将代码打包成JAR文件(Hadoop会在集群中分发这个包)。我们没有明确指定这个JAR文件对名称，而是在JobConf构造函数中传递一个类，Hadoop会找到这个包含此类对JAR文件。在创建JobConf对象后，我们将指定输入输出路径。通过调用FileInputFormat

2017-11-16 13:59:27 261

原创 storm初识

storm集群搭建 storm核心组件 storm编程模型 storm task并发度 storm 消息容错 storm 通信机制 storm 与zk交互 strom 流式计算的一般架构 kfaka集群搭建 kfaka生产集群的原理／分区 kafka消费者的负载均衡 kafka消费者的负载均衡–kafkaspout kafka broker核心机制(topic 分片文件存储

2017-11-16 13:56:22 324

原创 HDFS写数据

上传流程1.首先客户端向namenode请求上传文件 /aaa/cls.avi 元数据存储在内存中 namenode检查该路径是否有文件等，返回给客户端2.响应，可以上传。rpc请求，请求上传一个block，请求返回datanode。 3.返回datanode列表，(dn1/dn3/dn4..), namenode给这些datanode的讲究是： 1.

2017-11-15 09:36:49 645

原创 hadoop配置及启动

logo.gif？加载是向tomcat提交向hdfs集群汇聚数据 producer一边读log，然后写到hdfs。 flume如看了又看请求某个action 猜你喜欢。请求某个action 热门关注请求某个action传统io： 1.先将文件内容从磁盘中拷贝到操作系统buffer 2.再从操作系统buffer拷贝到程序应用buffer 3.从程序buffer拷贝

2017-11-12 21:53:00 305

原创 hadoop配置

配置项1<property> <name>fs.defaultFS</name> <value>hdfs://mini1:9000</value></property>hdfs://mini1:9000 nameNode+Port URI: jdbc:mysql://localhost:3306 schema hadoop要使用哪一种文件系统配置项2<property>

2017-11-12 21:52:31 314

原创 Java中的反射与动态代理

通过一个字符串，获取这个字符串所代表的那个类的属性/方法等。拿到字符串，不能new字符串。拿到构造函数//personClass是拿到之后的类Constructor constructor=personClass.getConstructor(Long.class,String.class);Person person=(Person) constructor.newInstance(100L

2017-11-12 17:13:31 406

原创 Java线程

继承自Thread方法thread.run() 和thread的start()方法必须是start，如果是run()的话，那么就是普通的方法调用。如果是调用thread的run(),那么就是普通的方法调用,不会创建新线程。继承自runnable方法new Thread(传入runnable对象，名字)：这样就产生一个线程Synchronizedpublic function get()

2017-11-12 14:02:09 254

原创 HDFS文件

客户端想上传文件，询问dataNode，dataNode查询元信息后返给客户端(如2号仓库可以存放)，客户端拿到信息后，与dataNode建立流通讯。客户端不是写多分，而是dataNode水平进行复制，nameNode进行记录。数据量越来越多，在一个操作系统管辖的范围存不下，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统的来管理多台机器上的文件，这就是分布式文

2017-11-12 12:19:28 354

原创 Zookeeper

Linux下下载Zookeeperwget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gzZookeeper配置文件dataDir=’/XX/XX’(数据的存放目录)server.1=192.168.xx.xx(或者主机名)：2888（leader与follower通信端口）：

2017-11-11 15:15:52 518

原创 docker

docker镜像：由文件系统叠加而成，最底端是一个引导文件系统，即bootfs，这很像Linux/Unix的引导文件系统。 docker镜像的第二层是root文件系统rootfs，位于引导文件系统之上。rootfs可以是一种或者多种操作系统。Docker一个镜像可以放到另一个镜像的顶部。位于下面的镜像称为父镜像，最底部的镜像称为基础镜像。构建镜像使用docker commit命令使用doc

2017-11-06 19:13:36 294

原创 hadoop杂

MapReduce输入的键和值并不是数据固有的属性，它们是由分析数据的人来选择的。hdfs是提供数据存储的，mapreduce是方便数据计算的 a.hdfs又对应namenode和datanode，namenode负责保存元数据的基本信息； datanode之间存放数据本身 b.mapreduce对应jobtracker负责分发任务，tasktracker负责执行具体任务 c所以对应

2017-11-06 19:12:51 283

原创 nginx封装的数据结构

ngx_string:宏函数，只能用于赋值初始化#define ngx_string(str) { sizeof(str) - 1, (u_char *) str }ngx_string与ngx_null_string是“{，}”格式的，故只能用于赋值时初始化，如：ngx_str_t str = ngx_string("hello world");ngx_str_t str1 = ngx

2017-11-03 15:23:27 350

原创 nginx

nginx_list_part_ttypedef struct ngx_list_part_s struct ngx_list_part_tstruct ngx_list_part_s{ void *elts; ngx_uint_t nelts; ngx_list_part_t *next;}

2017-11-02 10:19:36 254

原创 CI模型的加载

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-10-27 18:42:10 1157

原创 Nodejs之事件

事件node.js所有的异步I/O操作在完成时候都会发送一个事件到事件队列。在开发者看来，事件由EventEmitter提供。Node.js的事件循环机制Node.js由事件循环开始，到事件循环结束，所有的逻辑都是事件的回调函数。所以Nodejs始终在事件循环中，程序入口是第一个回调函数。

2017-10-21 17:54:12 321

原创统计学习

基本概念输入空间与输出空间：在监督学习中，将输入输出所有可能取值的集合分表称为输入空间与输出空间；每一个具体的输入是一个实例，通常有特征向量来表示。这时候所有特征向量存在的空间称为特征空间。特征空间的每一维对应于一个特征。监督学习从训练数据(training data)集合中学习模型，对测试数据(test data)进行预测。训练数据由输入和输出组成。模型属于由输入空间到输出空间的映射集合，这个集合

2017-10-21 15:49:41 335

原创面试知识点

foreach与forforeach循环的效率要高于for；能单条语句的就不用花括号块Linuxfind . -name “*.c” exec rm -rf {} \;({}与\之间有空格)

2017-10-21 13:29:50 240

原创 linux命令

递归删除find . -name “*.c” -exec rm -rf {} \; //注意{} 和\;之间的空格foreach与for的效率问题 array_merge和array+的区别

2017-10-21 10:57:55 241

原创机器视觉

机器视觉和如下3个领域密切相关： 1.图像处理：从已有图像产生一张新图像。(噪声抑制、去模糊、边缘增强，产生新图像)； 2.模式分类：一组用来表示物体属性的给定数据。识别一个物体，就是将其归为一类。 3.场景分析：将从图像中获取的简单描述转化成一个更加复杂的描述。相机中胶片的亮度就是辐照强度的函数(对图像亮度的测量还依赖传感器的光谱灵敏度。)图像中某一点的的辐射强度取决于：从该像点所对应的物体

2017-10-19 23:01:56 794

原创 mysql分区分表

分表分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表。行锁是加在索引上的，不是加在数据记录上的，如果sql没有用到索引依然会锁表分区表的请求，会通过句柄对象转化成对存储引擎的接口调用，所以分区对于SQL来说是一个完全封装层实现的黑盒子，对应用是透明的。但是底层文件可以看出，每一个分区表都有一个使用#分隔命名的表文件。创建分区表使用Partition by，在执行查询的时候，优化器会根

2017-10-19 22:06:26 489

原创离散余弦变换

离散余弦变换余弦变换是图像频域变换的一种，实际上是一种空间域的低通滤波器。将图像从色彩域转换到频率域的常用方法还有傅里叶变换和沃尔什变换等。余弦变换也可以看做是傅里叶变换的一种特殊情况。在傅里叶级数展开中，如果被展开的函数是实偶函数，那么其傅里叶级数中只包含余弦项，在将其离散化，由此可以导出余弦变换，或称为离散余弦变换。(DCT)。其与离散傅里叶变换某种程度上类似，但是它只使用实数部分。傅里叶计算的

2017-10-19 09:58:10 2858

原创 Yii2自动加载

index.php中，new yii\web\Application（$config）->run()class yii\web\Application extends \yii\base\Application 在\yii\base\Application构造方法中，Yii::app=this.static::setInstance(app=this. static::setInstance(

2017-10-17 21:46:53 555

原创直方图

所谓直方图就是对图像中的这些像素点的值进行统计，得到一个整体的灰度概念。好处是可以清晰了解图像的整体灰度分布。一般情况下直方图都是灰度图，x轴是0-255，y轴是每一个灰度级对应的像素点的个数。空间域滤波就是在用各种模板直接与图像进行卷积运算，实现图像的处理，这种方法直接对图像空间操作，操作简单，所以也是空间域滤波。频率域滤波最终也可能是实现和空间域滤波相同的功能，如图像轮廓提取，在空间域使用拉普拉

2017-10-16 11:34:40 557

原创中值滤波

主要功能是使拥有不同灰度的点看起来更接近它的相邻点。事实上我们使用m*m中值滤波器来去除那些相对于其邻域像素更亮或更暗并且区域小于m2/2的孤立像素族。二维函数二阶微分的实现：这种方法基本上是由定义一个二阶微分的离散公式，然后构造一个基于该公式的滤波器模板组成的。拉普拉斯图像算子任何周期函数都可以表示为不同频率的正弦余弦之和的形式，每个正弦、余弦项乘以不同的系数(现在称该和为傅里叶级数)。非周期

2017-10-14 13:34:21 668

原创图像直方图

所谓直方图就是对图像中的这些像素点的值进行统计，得到一个整体的灰度概念。好处是可以清晰了解图像的整体灰度分布。一般情况下直方图都是灰度图，x轴是0-255，y轴是每一个灰度级对应的像素点的个数。空间域滤波就是在用各种模板直接与图像进行卷积运算，实现图像的处理，这种方法直接对图像空间操作，操作简单，所以也是空间域滤波。频率域滤波最终也可能是实现和空间域滤波相同的功能，如图像轮廓提取，在空间域使用拉普拉

2017-10-13 12:14:14 420

原创傅里叶变换

FFT傅里叶变换保留了正弦波成分的所有信息，但是频谱图保留了频率和振幅的分布。做傅里叶变换更多的是为了对频率进行过滤。对图像进行二维傅里叶变换得到频率图，就是图像梯度的分布图。傅里叶频谱图上我们看到明暗不一的亮点，实际上图像上某一点与邻域点差异的强弱，即梯度大小，也即该点频率大小。梯度简单来说就是求导，在图像上表现出来就是提取图像的边缘(不管是横向的还是纵向的，斜方向的)，所需要的无非就是一个核模板

2017-10-13 11:51:32 465

原创霍夫变换

在计算机识别中，常常需要从图像中寻找特定的图形，需要将图像像素按照一定的算法映射到参数空间。Hough变换提供了一种将图像像素信息按坐标映射到参数空间的方法，通过它构建的参数空间可以容易地对特定形状进行判定。霍夫变换概述：特征提取该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍夫变换结果。霍夫变换运用两个坐标空间之间的变换将在一个空间中具有相同形状的曲线或直线映

2017-10-12 15:31:55 448

原创 Sobel边缘细化

图像细节进行增强；图像的边缘检测处理可以简单理解为提取图像中区域的轮廓。图像中区域的划分以像素灰度为依据，每个区域中的像素灰度大致相同，而区域之间的边界就称为边缘，寻找这些边缘就是图像检测的目的。简单来讲：Sobel边缘检测就是对原来图像进行描边操作。梯度法、Roberts梯度法、Sobel算法和Laplacian算法。1.边缘直观上，边缘是一组相连像素的集合，它们位于两个区域的之间。而从根本上讲，

2017-10-12 11:56:26 1944

原创拉普拉斯锐化

图像锐化：提供图像的对比度从而使得图像清晰起来，在图像平滑中，为了使得图像模糊，通常采用邻域平均的方法缩小邻域内像素之间的灰度差异。在图像锐化中，提高邻域内像素的灰度差来提高图像的对比度。拉普拉斯锐化原理图像的拉普拉斯锐化是利用拉普拉斯算子对图像进行边缘增强的一种方法，拉普拉斯算子是以图像邻域内像素灰度查分计算为基础，通过二阶微分推导出的一种图像邻域增强算法。基本思想是：当邻域内的中心像素灰度低于它

2017-10-12 11:51:00 2263

原创文章标题

图像锐化：提供图像的对比度从而使得图像清晰起来，在图像平滑中，为了使得图像模糊，通常采用邻域平均的方法缩小邻域内像素之间的灰度差异。在图像锐化中，提高邻域内像素的灰度差来提高图像的对比度。拉普拉斯锐化原理图像的拉普拉斯锐化是利用拉普拉斯算子对图像进行边缘增强的一种方法，拉普拉斯算子是以图像邻域内像素灰度查分计算为基础，通过二阶微分推导出的一种图像邻域增强算法。基本思想是：当邻域内的中心像素灰度低于它

2017-10-12 11:50:15 390

原创图像平滑

图像的增强处理就是使其更适合于特定的应用。简单平滑通过邻域简单平均对图像进行平滑处理的方法，用这种方法进行平滑处理可以有在一定程度上消除原图像中的噪声、降低原图像对比度的作用。邻域4邻点 8邻点卷积与模板卷积是一种利用模板做加权求和的过程。模板是卷积的核心，在图像处理中模板的本质是一组系数因子。卷积处理是通过将邻域内各像素的灰度乘以模板上对应的系数在求和来得到运算结果。图像简单平滑处理图像简单

2017-10-12 10:48:36 3258

原创图像锐化

图像锐化：提供图像的对比度从而使得图像清晰起来，在图像平滑中，为了使得图像模糊，通常采用邻域平均的方法缩小邻域内像素之间的灰度差异。在图像锐化中，提高邻域内像素的灰度差来提高图像的对比度。拉普拉斯锐化原理图像的拉普拉斯锐化是利用拉普拉斯算子对图像进行边缘增强的一种方法，拉普拉斯算子是以图像邻域内像素灰度查分计算为基础，通过二阶微分推导出的一种图像邻域增强算法。基本思想是：当邻域内的中心像素灰度低于它

2017-10-11 17:03:24 1564

原创离散时间LTI系统

把一个离散时间信号当做一串单个脉冲来想象。单位冲积函数重要特性之一就是：一般信号可以表示为延迟冲激的线性组合。这个事实再与叠加性和时不变性组合起来就能用LTI的单位冲激响应来完全表征一个LTI系统的特性。在离散时间情况下称为卷积和，在连续时间下称为卷积积分。单位脉冲 : 单位跃阶：广义函数与普通函数之间存在相互转化这一事实。看做是一些延时脉冲的叠加，也就是n=0时发生 Γ(n)=(n−1)!

2017-10-11 10:32:13 4264

空空如也

空空如也