- 博客(62)
- 收藏
- 关注
RSS订阅转载 hadoop框架结构简单介绍
近年，随着互联网的发展特别是移动互联网的发展，数据的增长呈现出一种爆炸式的成长势头。单是谷歌的爬虫程序每天下载的网页超过1亿个（2000年数据，）数据的爆炸式增长直接推动了海量数据处理技术的发展。谷歌公司提出的大表、分布式文件系统和分布式计算的三大技术构架，解决了海量数据处理的问题。谷歌公司随即将设计思路开源，发表了具有划时代意义的三篇论文，很快根据谷歌设计思路的开源框架就出现了，就是如今非常火爆...
2018-03-30 17:10:40
185
转载 SpringMvc自动任务调度之task实现项目源码，@Scheduled
1.Xml配置 Spring-job.xml 并在 Spring-Application.xml中Import<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/...
2018-03-30 16:20:00
238
转载 http协议前端常识
http介绍：http基于tcp/ip通信来传递数据注意事项http是无连接：每次连接只处理一个请求，服务器处理完请求后，并收到客户端的应答后，即断开连接；http媒体是独立的：只要客户端和服务器端知道如何处理数据类型，任何数据都可以用http传送；http无状态：无状态是指协议对于事物处理没得记忆能力；消息结构1.h...
2018-03-30 07:18:53
91
转载 程序员的人性思考（续）
“致虚极，守静笃”，这是本人在《道德经》中很喜欢的一段话，浮沉乱世中，要守住自己的一份清明，不管做人、做事、学习、生活、工作上都会有所帮助。人性思考目录：《程序员的人性思考（上）》《程序员的人性思考（下）》本篇目录：拥有资源的多少并不重要，如果你不懂得利用，永远都是不够的方向不对，越努力越窘迫向你伸出手的人，不一定都真心想救你你永远无法满足所有人有时候生活...
2018-03-29 22:14:00
107
转载 控制反转（ IoC）和依赖注入（DI）
控制反转（ IoC）和依赖注入（DI）tags： 容器 依赖注入 IOC DI 控制反转引言：如果你看过一些框架的源码或者手册，像是laravel或者tp5之类的，应该会提到容器，依赖注入，控制反转等词汇。或者是某些面试官会问到这类问题。希望这篇文章能让你有所收获。1.1、IoC(控制反转 Inversion of Control)简述：控...
2018-03-29 15:23:00
45
转载 vue-resource文档详细解读
Vue可以构建一个完全不依赖后端服务的应用，同时也可以与服务端进行数据交互来同步界面的动态更新。Vue通过插件的形式实现了基于AJAX，JSPNP等技术的服务端通信。 vue-resource是一个通过XMLHttpRequrest或JSONP技术实现异步加载服务端数据的Vue插件，提供了一般的 HTTP请求接口和RESTful架构请求接口，并且提供了全局方法和VUe组件实例方法。一、...
2018-03-28 20:14:00
303
转载 Unity Shader-渲染队列，ZTest，ZWrite，Early-Z
在渲染阶段，引擎所做的工作是把所有场景中的对象按照一定的策略（顺序）进行渲染。最早的是画家算法，顾名思义，就是像画家画画一样，先画后面的物体，如果前面还有物体，那么就用前面的物体把物体覆盖掉，不过这种方式由于排序是针对物体来排序的，而物体之间也可能有重叠，所以效果并不好。所以目前更加常用的方式是z-buffer算法，类似颜色缓冲区缓冲颜色，z-buffer中存储的是当前的深度信息，对于每个像素存储...
2018-03-28 17:31:00
45
转载 欧拉回路与欧拉路径
概念欧拉路径指一条所有边都经过且只有一次的路径如果起点和终点相同就是欧拉回路判定有向图：所有点连通，且入度都等于出度，则有欧拉回路无向图：所有点连通，且度数为偶数，则有欧拉回路显然欧拉回路删掉一条边就是欧拉路径那么欧拉路径中有且只有两个不符合欧拉回路要求的点，并且相连后就满足了算法求欧拉路径就把不满足的点连起来，求欧拉回路后删掉这条边就好了无向图\(dfs\)，标记走过的边以...
2018-03-28 14:20:00
43
转载 Android中使用ffmpeg编码进行rtmp推流
要理解RTMP推流，我们就要知道详细原理，这方面的文章有很多，我也看到过学习过很多这样的文章，但是很多都没有详细的去给大家展示，都没有一个完整的流程，使得初学者难以弄懂其中的原理，下面我将详细的来给大家介绍RTMP推流原理以及如何推送到服务器，首先我们了解一下推流的全过程：本工程的源码地址如下：RiemannLeeLiveProject我们将会分为几个小节来展开：一. 本文用到的库文件...
2018-03-28 13:31:07
502
转载 Linux系统内查看内核、CPU、内存等的命令总结
以查看CentOS系统信息为例 一：查看CPUless /proc/cpuinfo | grep "model name"(less可以回翻,space翻页，enter下一行；more不可以回翻,space翻页，enter下一行) grep "model name" /proc/cpuinfo 觉得需要看着舒服：grep "model name" /proc/cpuinfo | cut ...
2018-03-27 11:17:23
1049
转载 Linux学习笔记第八周一次课（3月26日）
10.23linux任务计划cron每天凌晨3点执行命令，任务计划为#crontab -e0 3 * * * /bin/bash /usr/local/sbin/123.sh >>/tmp/123.log 2>>/tmp/123.log每周一、三、五的双数月的1到5日的凌晨3点执行命令，则为#crontab -e0 3 1-5 */2 1,3,5 /...
2018-03-27 01:05:50
51
转载 初识C++之虚函数
1、什么是虚函数 在基类中用virtual关键字修饰。并在一个或多个派生类中被又一次定义的成员函数。使用方法格式为： virtual 函数返回类型 函数名（參数表） { 函数体 } 虚函数是实现多态性的关键，通过指向派生类的基类指针或引用，訪问派...
2018-03-25 14:04:00
51
转载 Java基础知识回顾之二 ----- 修饰符和String
前言在上一篇中，回顾了Java的基本数据类型 ，这篇就来回顾下Java中的一些修饰符以及String。修饰符介绍Java修饰符主要分为两类:访问修饰符非访问修饰符其中访问修饰符主要包括 private、default、protected、public。非访问修饰符主要包括 static、final、abstract、synchronized。访问修饰符访问修饰符可以使用下图这...
2018-03-24 11:57:00
30
转载 线程池工作队列饱和策略
线程池工作队列饱和策略Java线程池会将提交的任务先置于工作队列中，在从工作队列中获取(SynchronousQueue直接由生产者提交给工作线程)。那么工作队列就有两种实现策略：无界队列和有界队列。无界队列不存在饱和的问题，但是其问题是当请求持续高负载的话，任务会无脑的加入工作队列，那么很可能导致内存等资源溢出或者耗尽。而有界队列不会带来高负载导致的内存耗尽的问题，但是有引发工作...
2018-03-23 15:39:00
80
转载 Hadoop之HDFS优点
随着互联网数据规模的不断增大，对文件存储系统提出了更高的要求，需要更大的容量、更好的性能以及更高安全性的文件存储系统，与传统分布式文件系统一样，HDFS分布式文件系统也是通过计算机网络与节点相连，但也有优于传统分布式文件系统的优点。1. 支持超大文件HDFS分布式文件系统具有很大的数据集，可以存储TB或PB级别的超大数据文件，能够提供比较高的数据传输带宽与数据访问吞吐量，相应...
2018-03-23 14:19:43
237
转载 Spring中Bean生命周期过程
作者：MOBIN-F链接：https://www.zhihu.com/question/38597960/answer/77600561来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。1.Spring对Bean进行实例化（相当于程序中的new Xx()）2.Spring将值和Bean的引用注入进Bean对应的属性中3.如果Bean实现了BeanN...
2018-03-22 15:04:00
85
转载 gitlab服务器502恢复过程
突然发现gitlab服务器无法进行访问查看日志# gitlab-ctl restart sidekiq ok: run: sidekiq: (pid 6278) 0s# gitlab-ctl hup unicorn # gitlab-ctl statusrun: gitlab-workhorse: (pid 3747) 168s; run: log: (pid 3342) 193sr...
2018-03-22 11:13:14
569
转载 Nginx配置ThinkPHP和laravel下的url重写（隐藏入口）
搭建好项目后，在网址上输入域名，只能访问首页，其他页面全是404。在域名后面和控制器前面加上index.php就可以访问。在tp5官网手册查找后进行配置修改。打开nginx.conf 后 ，在service中粘贴：location / { if (!-e $request_filename) { rewrite ^(.*)$ /index.php?s=/$...
2018-03-21 19:24:00
135
转载 转载数据库阻塞和死锁的区别
数据库阻塞和死锁在程序开发过程经常出现，怎么样避免呢？下面通过Demo简单模拟下，数据库发生阻塞和死锁的现象：一、数据库阻塞：数据库阻塞的现象：第一个连接占有资源没有释放，而第二个连接需要获取这个资源。如果第一个连接没有提交或者回滚，第二个连接会一直等待下去，直到第一个连接释放该资源为止。对于阻塞，数据库无法处理，所以对数据库操作要及时地提交或者回滚。Demo:--创建表create table...
2018-03-19 17:16:00
92
转载 Es6,webpack(待研究学习)
ES6let,constlet不会发生变量提升.声明之前使用的，都会报错。 都可以用来声明变量,他们声明的变量都有块级作用域,const声明的变量不允许修改;for (let i = 0; i < 2; i++) { console.log('g', i) for (let i = 0; i < 2; i++) { console.log('z', i) ...
2018-03-19 02:36:33
86
转载 LAMP（6）静态元素过期时间、配置防盗链、访问控制Directory、访问控制FilesMatch...
静态元素过期时间静态元素：（图片、js、css）平时我们在浏览器访问网站的时候，如果里面有这些静态元素，浏览器会帮我们把它们缓存下来，再次访问的时候访问的速度就会快。缓存下来的静态元素到底缓存多久？这个是可以在服务器配置文件中定义的。（定义静态元素过期时间）304 状态码表示该文件已经缓存到用户电脑。定义静态元素的失...
2018-03-18 23:40:42
84
转载 设计----【分布式事务】深入理解分布式事务,高并发下分布式事务的解决方案...
1、什么是分布式事务分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。以上是百度百科的解释，简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。本质上来说，分布式事务就是为了保证不同数据库的数据一致性。2、分布式事务的产生的原因...
2018-03-18 18:00:00
58
转载 HDOJ 5384 Danganronpa AC自己主动机
AC自己主动机裸题DanganronpaTime Limit: 2000/1000 MS (Java/Others) Memory Limit: 131072/131072 K (Java/Others)Total Submission(s): 164 Accep...
2018-03-17 21:22:00
58
转载 Python进行远程视频监控
从网上看到过用python远程发送截图的博客，这次我要用python实现远程视频监控，看起来既高大上,做起来又非常简单。先说一说整体思路，我们要做到手机发送邮件，python脚本接收到有特定邮件的信息，模拟鼠标操作点击qq上的视频通话按钮以达到视频监控的目的。我们需要两个qq号，一个在电脑端登陆，一个在手机端登陆，python脚本需要的账号和密码是你电...
2018-03-15 16:10:08
664
转载 Spring和Quartz集成
本文转载自：http://blog.csdn.net/u010648555/article/details/54891264Spring是一个很优秀的框架，它无缝的集成了Quartz，简单方便的让企业级应用更好的使用Quartz进行任务的调度。下面就对Spring集成Quartz进行简单的介绍和示例讲解！和上一节Quartz学习——2、简单入门示例Demo的流程相似，介绍Spring和Qu...
2018-03-15 11:33:00
37
转载 LaTex的常用编辑
数学公式的编辑Latex 字母上面加符号 波浪线 横线 角号等加^号 输入\hat{X} 或 \widehat{X} $\hat{X} \quad \widehat{X}$加横线 输入 \bar{X}_i\overline{X}_i \bar{X_i}\overline{X_i} $\bar{X}_i \qq...
2018-03-15 09:28:00
188
原创 ofo再获8.66亿美元融资 推动共享单车从高速发展迈向高质量发展
意料之外，也是意料之中！3月13日，ofo小黄车正式宣布完成E2-1轮融资8.66亿美元。本轮融资由阿里巴巴领投,灏峰集团、天合资本、蚂蚁金服与君理资本共同跟投，创下共享单车行业单笔最高融资纪录。这是一记有力的实锤，且来得正当其时。ofo小黄车创始人兼CEO戴威甚至将其称之为“碾压式融资”。毋庸置疑，高达50亿元人民币的真金白银作用在ofo小黄车当前的发展基础之上，将会有力支持ofo去加速兑现共享...
2018-03-14 16:47:08
211
转载 图像滤镜艺术---(Nostalgla Filter)老照片滤镜
原文:图像滤镜艺术---(Nostalgla Filter)老照片滤镜(Nostalgla Filter)老照片滤镜Nostalgla Filter主要是通过算法来模拟一种复古，陈旧的照片风格，以此来达到新照片显示老照片的效果。目前这个算法有很多，本文在这里介绍一种更逼真，效率更高的新算法：1，老照片一般都具有泛黄的纸张特征，这一点，我们构建一张暗黄色的地板图层A：RGB(200,120,...
2018-03-14 08:52:00
76
转载 康奈尔大学发明柔性机械手，用恰到好处的力度握住物体
除了握住物体，该机械手还能检测其形状和纹理。 近日，康奈尔大学的研究人员发明了一种柔软的机器人手，不同于普通机械手所使用的马达，该柔性机械手的关节处所使用的是传导光线。据悉，这个柔性机械手的内部有很多传感器，且每个手指内部都装有波导装置。当机械手触摸物体时，手指内部的波导就会发生弯曲变化，促使机器人收集触摸对象的...
2018-03-13 15:20:00
354
转载 PHP 内存泄漏分析定位
转载地址：https://mp.weixin.qq.com/s/98D_VtkFEM5bZsu9cazggg?目录场景一 程序操作数据过大场景二 程序操作大数据时产生拷贝场景三 配置不合理系统资源耗尽场景四 无用的数据未及时释放深入了解php内存管理php-fpm内存泄露问题常驻进程内存泄露问题前言本文开始撰写时我负责的项目需要用 php 开发一个通过 Socket 与服...
2018-03-13 13:10:55
154
转载 time_wait的快速回收和重用
TCP四次挥手：Time_wait产生原因及作用：1. time_wait状态如何产生？由上面的变迁图，首先调用close()发起主动关闭的一方，在发送最后一个ACK之后会进入time_wait的状态，也就说该发送方会保持2MSL时间之后才会回到初始状态。MSL值得是数据包在网络中的最大生存时间。产生这种结果使得这个TCP连接在2MSL连接等待期间，定义这个连接的四元组（客...
2018-03-13 11:20:00
130
转载 【小松教你手游开发】【unity实用技能】一键改变UI字体
转自http://www.manew.com/thread-49264-1-1.html我们做项目的时候经常会遇到要换个字体的工作情况，比如美工同学觉着字体不好看或者要做其它语言版本什么的。遇到这种情况我们总不能一个标签一个标签的去找到它们把字体换了，累不累就不说了，万一漏了也是麻烦事。作为一名高贵的游戏开发工程师，怎么能把时间经历都浪费在这些小事上，所以我们要时刻考虑到什么工作可以通过代码让电...
2018-03-10 16:47:45
70
转载 几个实验
最近一直在学习网络，今天我们做几个Linux小实验。在这些实验中学习一些命令和操作。一：将Centos7网卡改为传统命名方式法一：直接改/etc/grub2.cfg（1）直接改/etc/grub2.cfg文件，再如图所示的地方加“net.ifnames=0”（2）修改/etc/sysconfig/network-scripts/ifcfg-ens3X文件，修改内容如图所示。（3）最后将...
2018-03-10 09:12:28
55
转载 Python OS模块操作文件和目录
#-*-coding:utf-8-*-import osimport shutil###############OS模块###############获得当前python脚本的工作目录os.getcwd()#获得指定目录下的所有文件和目录名os.listdir("C:\\")#删除一个文件os.remove(r"H:\Ping_Result.txt")#...
2018-03-09 08:42:00
48
转载 FF笔试题整理
一、选择题1、怎样能唯一确定一颗二叉树？【解析】只要知道中序遍历顺序,再加上其余两个遍历中任意一个都可以唯一确定一个二叉树。如果不知道中序遍历顺序,则无法确定。【反例】A-B-C，A是跟，B是A的左孩子，C是B的左孩子；先序遍历是ABC，后序遍历是CBA； 而二叉树A是根，B是A的右孩子，C是B的右孩子，先序遍历和后序遍历跟上面那个一样【扩展阅读】二叉树序列：https://www....
2018-03-08 21:05:00
215
转载 逆向基础 OS-specific (三)
左懒 · 2015/08/16 18:0666章 系统调用(syscall-s)众所周知，所有运行的进程在操作系统里面分为两类：一类拥有访问全部硬件设备的权限（内核空间）而另一类无法直接访问硬件设备(用户空间)。操作系统内核和驱动程序通常是属于第一类的。而应用程序通常是属于第二类的。举个例子，Linux kernel运行于内核空间，而Glibc运行于用户空间。这种分离对与操作系统的安全性是至关重要...
2018-03-08 10:59:16
218
转载 day39---mysql基础三
1、索引：字典得目录，便于数据查找。原理：将列信息存储在其相关的文件，这些信息使用便于检索的方式如B-tree、哈希来存储索引的分类：普通所有：name，只能帮助查找唯一索引：name，帮助查找，约束内容不能重复，null，也可做联合唯一索引主键索引：与唯一索引类似，但不允许null，一张表只能有一个主键支持联合主键组合索引：多列公共组成索引普通多列索引（n...
2018-03-07 13:28:00
39
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人