什么是大数据? 什么是数据? 凡是可以被电子化记录的都是数据。这不局限于数字,还包括语音输入的声音,数码相机拍下的照片,手机录制的视频等被电子化记录的内容等。数据有什么用? 数据之于个人的价值,一定关乎自身业务的核心诉求。只有说清楚了数据的商业价值,客户才容易为数据买单,数据企业才容易产生收入,数据产业中才不会有那么多的困惑。那么,数据的价值是什么呢?我们可以从收入、支出、风险三个方面看待这个问题:...
从EVE-NG获取网络补丁内核安装 安装ansiblesudo pip install ansible创建文件kernel.yml,内容如下:- name: Provision Wistar hosts: localhost connection: local become: true vars: wistar_branch: master tasks: - name: Get the EV...
Linux 网桥支持LLDP 透传的解决方法 Linux 虚拟网桥默认会悄悄地删除LLDP消息(发送到LLDP_Multicast地址01-80-C2-00-00-0E)和01-80-C2-00-00-xx范围内的其他控制帧。原因可以在802.1AB标准中找到,该标准规定:“the destination address shall be 01-80-C2-00-00-0E. This address is within the ra...
Macbook pro 2015 盖上屏幕后仍严重耗电的解决办法 1. 重启 Macbook,在启动的时候按住 command + R,然后系统会尽入 recovery 模式。2. 选择语言,点下一步,然后在菜单栏选择打开 terminal。3. 输入 csrutil disable 禁掉 SIP,然后正常重启 macbook。4. 打开 terminal,输入 ioreg -l | grep board-id 查看你的 board-id,5. 在这个目...
Mesos 调度流程解析 Mesos实现了两级调度架构,它可以管理多种类型的应用程序。第一级调度是Master的守护进程,管理Mesos集群中所有节点上运行的Slave守护进程。集群由物理服务器或虚拟服务器组成,用于运行应用程序的任务,比如Hadoop和MPI作业。第二级调度由被称作Framework的“组件”组成。Framework包括调度器(Scheduler)和执行器(Executor)进程,其中每个节点上都会运行执...
Mesos 中集成K8S Kubernetes是一个Docker集群管理工具,主要包含资源管理,部署运行,服务发现,扩容缩容等功能,帮助用户把所有的应用都部署在Docker Container里边,Kubernetes可以看成是一个mini的PaaS平台,主要用来帮助用户管理Docker Container。Apache Mesos是一款开源集群管理软件,由加州大学伯克利分校的AMPLab首先开发;支持Hadoop、Ela...
centos7 安装 openvswitch 1.安装依赖包:yum -y install make gcc openssl-devel autoconf automake rpm-build redhat-rpm-config yum -y install python-devel openssl-devel kernel-devel kernel-debug-devel libtool wget 2.预处理:mkdir -p ~/r...
mesos 安装时,marathon 无法启动问题解决 启动marathon 后连接网页http://ip:8080时连接不上,于是输入命令查看marathon运行状态:]# service marathon status -lRedirecting to /bin/systemctl status -l marathon.service● marathon.service - Scheduler for Apache Mesos Load...
Zookeeper源码 intellij idea 开发环境搭建 Zookeeper是开源高可用的分布式协同服务,在分布式系统中应用广泛,代码量适中,适合阅读和学习。首先从开发环境的搭建开始介绍。环境和工具LZ用的是MAC OSGit,Ant,Intellij Idea(eclipse也可以),版本随意,LZ用的是最新的。Java 1.8项目下载和安装1. 安装AntAnt下载地址:http://ant.apache.org/bindownload.cgi解压即...
python 中sorted与sort有什么区别? sort(cmp=None, key=None, reverse=False)sorted(iterable, cmp=None, key=None, reverse=False)sort是容器的函数,用List的成员函数sort进行排序sorted是Python的内建函数相同的参数,用built-in函数sorted进行排序sorted(iterable,key=None,reverse=Fal...
在Linux中,如何统计历史命令中最常用的10个命令 Shell中输入命令:history | awk '{print $2}' | sort | uniq -c | sort -k1,1nr | head -10history 查看命令历史记录awk 用awk工具切割,以空格为分隔符,打印第二个,sort 对命令进行排序uniq -c 重复的只显示一行,并在每行行首加上本行在文件中出现...
mac /usr/local is not writable 解决方法 今天在mac上装hadoop,发现提示权限不足问题,错误提示如下解决方法:输入命令:sudo chown -R $(whoami):admin /usr/local
logstash-5.X 安装和配置 到官网下载最新的logstash:https://www.elastic.co/downloads/logstash解压:tar -xvzf logstash-5.5.2.tar.gzcd logstash-5.5.2安装jruby,控制台中输入命令:gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1
centos7安装nodejs遇到的问题 Requires: libhttp_parser 安装nodejs遇到Error: Package: 1:nodejs-6.11.1-1.el7.x86_64 (epel) Requires: libhttp_parser.so.2()(64bit)Error: Package: 1:nodejs-6.11.1-1.el7.x86_64 (epel) Requires: http-parser >
ubuntu 添加当前目录到环境变量 比如要添加的环境变量叫APOLLO_HOME,终端当前已经进入要设置的目录,则执行如下命令完成:echo "export APOLLO_HOME=$(pwd)" >> ~/.bashrc && source ~/.bashrc
关于Node.js的httpClieint请求报错ECONNRESET的原因和解决措施 背景说明最近在工作项目中有下面一个场景:使用Node.js的express框架实现了一个文件系统服务器端,其中有个API用于客户端上传文件。客户端使用Node.js的HttpClient来调用服务器端的API上传文件。客户端在上传小文件时没有任何问题,在上传大文件时httpClient请求报错了下面的错误,{ [Error: socket hang up] code
JS中清空数组的三种方式 方式1,splice123var ary = [1,2,3,4];ary.splice(0,ary.length);console.log(ary); // 输出 [],空数组,即被清空了方式2,length赋值为0这种方式很有意思,其它语言如Java,其数组
在Node.js中获取本机本地IP地址 目前,在node.js(v0.8.16)上,可以使用以下代码来获取本IP地址var os=require('os');var ifaces=os.networkInterfaces();for (var dev in ifaces) { var alias=0; ifaces[dev].forEach(function(details){ if (details.famil
html页面格式化输出js对象 前端开发中,有时需要在html页面格式化输出js对象(服务器响应的json结果等)var toDisplayInHtml = { a: 0, b: 'haha', result: { success: true, message: 'ok', array: [1, 2], obj: {
KNN 算法理解 kNN算法又称为k近邻分类(k-nearest neighbor classification)算法。一、基本思想: kNN算法的指导思想是“近朱者赤,近墨者黑”,由你的邻居来推断出你的类别。在距离空间里,如果一个样本的最接近的k个邻居里,绝大多数属于某个类别,则该样本也属于这个类别。俗话叫,“随大流”。 代表论文:Discriminant Ad
用OpenCV 进行摄像头标定 摄像头标定是机器视觉进行图像处理的前提,这一部分的教程网上已经有很多了,这里不再说明。这里要强调的是博主之前参考网上的标定做一直没有成功,后来发现是因为匹配模板上面的行列设错了。 摄相头标定一般就这几个步骤1、打印一张模板并贴在一个平面上; 2、从不同角度拍摄若干张模板图像;3、填写模板上面行和列是多少,检测出图像中的特征点;4、求出摄像机的内参数
zinnia-theme-bootstrap 使用过程中的问题 使用django 1.1版本 + django-blog-zinnia + zinnia-theme-bootstrap 搭建博客的时候会出现如下两个错误,解决方式为:1、Invalid syntax for cycle tag in entry_detail_base.html错误提示:This results in error No named cycles in templat
MAC 编译安装QGLViewer Download 下载QGViewer 使用make编译cd path/to/libQGLViewer-2.6.3/QGLViewerqmake -spec macx-g++make 生成QGLViewer.framework,把QGLViewer.framework拷贝到/Library/Frameworks,完成!
xcode配置绝对路径与相对路径 一般我们在xcode里面配置包含工程目录下头文件的时候,都要关联着相对路径和绝对路径,如果只是自己用这个项目,用绝对路径的问题不大,但是如果你把工程发给别人,别人就要在改这个绝对路径,这时候绝对路径的缺点立马出现。所以在修改User Header Search Paths这个选项的时候使用"$(SRCROOT)/当前工程名字/需要包含头文件所在文件夹",将上面的双引号里面的字符串拷贝之后,你会
Mac下打开/usr/local目录 Mac下/usr/local目录默认是对于Finder是隐藏,如果需要到/usr/local下去,打开Finder,然后使用command+shift+G,在弹出的目录中填写/usr/local就可以了。
python windows报错ConfigParser.NoSectionError: No section: 'mysql' ConfigParser.NoSectionError: No section出现这个问题是因为ConfigParser.ConfigParser().read("你的文件")要读的的配置文件不是绝对路径或者找不到该配置文件.故而,将其修改成绝对路径即可.
金融IC卡 ARQC和ARPC计算方法和实例 假设发卡行的IC卡应用密钥如下:PBOC_IMK_AC F0C34A8124CEE0A91A0B034AA97D6EACPBOC_IMK_ENC D30F45EABC12AC3EF56B0C0D7F8654DEPBOC_IMK_MAC 12B1AC4AF070CC35612BFE2D30AB600D
hadoop 2.7.1 64位库编译 原因:Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。解决:一、需要准备的软件:1.JDK和GCC不再详述2.安装maven下载:点击打开链接解压 tar -zxvf apache-maven-3.2.1-bin.tar.gz配置环境变量,编辑/etc/profile或者~/.bash
hadoop2.7.1 在Ubuntu 32位 上安装单机版伪分布环境 创建具有超级权限的hadoop用户:sudo useradd -m hadoop -s /bin/bashsudo passwd hadoopsudo adduser hadoop sudo用hadoop 登陆系统安装sshsudo apt-get install sshssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat
GPRS DTU及其工作原理 GPRS DTU是什么?其工作原理是什么?GPRS DTU全称GPRS数据传输单元,在国内目前实际上对GPRS DTU具有更加明确的约定:GPRS DTU是专门用于将串口数据通过GPRS 网络进行传送的GPRS无线设备。GPRS DTU的四个核心功能:1)内部集成TCP/IP协议栈GPRS DTU内部封装了PPP拨号协议以及TCP/IP协议栈并且具有嵌入式操作系统,从硬件上,它
WinCE 程序全屏隐藏任务栏的方法 Code:void CXXXDlg::SetScreenMode(BOOL bFullScreen) { if (bFullScreen) { //查找menu_worker窗口 HWND hWndSIP = ::FindWindow(_T("menu_worker"
VC 程序调用 Mspaint 打开图片 Code:szPath = "C://Documents and Settings//hzhstar//Application Data//ImageCaptrue//" HWND hMain = AfxGetApp()->GetMainWnd()->GetSafeHwnd(); ShellExecute(hMain, "open", "mspaint", "Imag
判断文件夹是否存在并创建 Code:CFileFind fFind; //如果文件夹不存在,则创建此文件夹 if (!fFind.FindFile(m_szAppIniPath)) { SECURITY_ATTRIBUTES attrib; attrib.bInheritHandle = FALSE; attrib.lpSecurityDescriptor =
GdiPlus使用的前期准备 GDI+是GDI的下一个版本,它进行了很好的改进,并且易用性更好。GDI的一个好处就是你不必知道任何关于数据怎样在设备上渲染的细节,GDI+更好 的实现了这个优点,也就是说,GDI是一个中低层API,你还可能要知道设备,而GDI+是一个高层的API,你不必知道设备。例如你如果要设置某个控件 的前景和背景色,只需设置BackColor和ForeColor属性。 (1)vc 获得G
关于多态,隐藏,覆盖的理解 <!--@font-face {font-family:宋体}@font-face {font-family:"/@宋体"}p.MsoNormal, li.MsoNormal, div.MsoNormal {margin:0cm; margin-bottom:.0001pt; text-align:justify; text-justify:inter-ideo
单文档多视图切换的解决办法 由于最近做的一个程序用到了单文档多视图切换,所以把它总结一下。内容如下: 单文档多视图的切换有两种情况,即分栏多视图切换和无分栏多视图切换,以下是两个对应情况的可重用函数: 分栏多视图切换: Code:BOOL CMainFrame::ReplaceView(int row, int col, CRuntimeClass *
WaitForSingleObject的用法 WaitForSingleObject的用法DWORD WaitForSingleObject( HANDLE hHandle, DWORD dwMilliseconds);参数hHandle是一个事件的句柄,第二个参数dwMilliseconds是时间间隔。如果时间是有信号状态返回WAIT_OBJECT_0,如果时间超过dwMilliseconds值但时间事件还是无信号状
从字符串越界看栈分配 Code:int x=35; char str[10]; strcpy(str,"www.it315.org"/*共13个字母*/); /*问此时x的值是多少*/ 在VC6.0里值 x=103; 大部分人都知道这是数组越界了,但为什么x是103呢? 栈的分配是从高低址到低地址,VC里栈内存对齐为变量分配的空间大
巧用Bit Fields 精减结构体存储空间的方法 Bit Fields这个词我不知道怎么翻译,暂时叫它“比特域”吧,我们可以用它来声明一个占用最小空间的结构体,用来声明的变量类型可以是BYTE,WORD,DWORD等。例如,我们现在要一个存储日期的最小长度的结构体date_struct。我们可以这样声明:struct date_struct { WORD day : 5, // 1 to 31