2018年03月_DemonHunter211

原创 Spark基本架构及原理

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势：Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大...

2018-03-30 16:55:25 232

原创 ElasticSearch学习（4）--ElasticSearch启动时的各种报错

ElasticSearch启动时的各种报错【1】expecting token of type [START_OBJECT] but found [VALUE_STRING]]; 报错详细信息：SettingsException[Failed to load settings from [elasticsearch.yml]]; nested: ParsingException[Failed to...

2018-03-30 16:53:51 9954

原创基于OpenStack和Kubernetes构建组合云平台——网络集成方案综述

一谈到云计算，大家都会自然想到三种云服务的模型：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。OpenStack已经成为私有云IaaS的标准，而PaaS层虽然有很多可选技术，但已经确定统一的是一定会基于容器技术，并且一定会架构在某种容器编排管理系统之上。在主流的容器编排管理系统Kubernetes、Mesos和Swarm中，Kubernetes以它活跃的社区，完整强大...

2018-03-30 16:48:55 569

原创 openstack使用2——制作centos7镜像

一、前言使用镜像是安装好的系统做成镜像，在创建云主机后用户可以进入对Centos系统进行配置的界面，省去安装系统的麻烦。直接使用Centos的iso作为镜像，用户在创建完虚拟机打开安装系统时，安装程序无法识别到本地磁盘，只有为虚拟机添加了块存储，才能识别出磁盘。但这样做会导致linux系统安装在块存储中，不方便块存储断开与虚拟机的连接。二、制作镜像下载centos7的操作系统的官方镜像上传至co...

2018-03-30 16:42:57 1043 1

原创使用ISO镜像制作适用于OpenStack的云镜像

参考链接:https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/OpenStack/page/Creating+qcow2+CentOS+Image+for+OpenStackhttp://docs.openstack.org/image-guide/content/centos-image.htmlhttp:...

2018-03-30 16:40:48 960

原创 Openstack使用ISO镜像启动云主机

一、准备工作 1.准备好没有异常的ocata版openstack 环境。 2.去centos官网下载原始ISO镜像，并将镜像上传到openstack控制节点上。二、实施 1.上传镜像# openstack image create "centos7" \ --file CentOS-7-x86_64-DVD-1611.ISO \ --disk-format iso --container-...

2018-03-30 16:36:06 2603

原创在linux终端下快速删除输错的命令小技巧

有时候在linux终端中执行某个命令时，往往会输错命令，想删除掉重敲可以按backspace键，但这样较慢，一种简便技巧是，按住esc键同时按backspace键会较快删除【esc+backspace】组合键。或者【ctrl+u】组合键当然，直接回车更直接，但可能会产生一堆的错误提示。...

2018-03-30 14:58:34 10802

原创为openstack 实例分配静态ip

1.为instance 配置静态 IP存在什么问题？2.如何才能实现为instance 配置静态 IP？3.设置静态ipNewton是否可以通过界面完成？传统运维中为服务器配置静态 IP 是再常见不过的了。但在 OpenStack 环境下只能指定 network，IP 都是 Neutron 从 subnet IP 池中自动分配的。有同学就会想办法了：等 instance 起来后手工把 IP 改掉行...

2018-03-30 14:40:04 3108

原创 floating IP 原理分析 - OpenStack

floating IP 原理分析 - 每天5分钟玩转 OpenStack（107）上一节我们通过 Web UI 创建为 cirros-vm3 分配了浮动 IP，今天将分析其工作原理。首先查看 router 的 interface 配置：可以看到，floating IP 已经配置到 router 的外网 interface qg-b8b32a88-03 上。查看 router 的 NAT 规则： ...

2018-03-30 14:28:50 7918 1

原创 centos 7 failed to connect to server code: 1006

After installing cloud image of centos 7 I can ssh to it nor problem, but when I use horizon and try to use vnc:Failed to connect to server (code: 1006)I expect I need to modify console parameters in ...

2018-03-28 15:45:59 1687

原创关于cirros镜像

现在各大linux厂商，其实已经有专门给openStack提供的镜像，不过国内的朋友，不太习惯老外做镜像的方式，经常问密码是多少。现在安全事故很多，所以还是建议大家去官方下载镜像，有使用的问题，也比较好交流。自己手工做镜像，其实需要做不少工作，才能在OpenStack平台里用的很舒服。Contents [hide]1 支持修改密码2 Cirros3 Ubuntu 14.044 CentOS支持修...

2018-03-28 14:25:17 23797 1

原创 CentOS7.2 调整mysql数据库最大连接数

系统版本：CentOS7.2 64bitmysql版本：5.5.47-MariaDB#############################################################CentOS7系统调整数据库最大连接数和之前有所不同，如下：1.查看mariadb数据库最大连接数，默认为151[plain] view plain copyMariaDB [(none)]&g...

2018-03-27 14:06:10 330

原创从零开始实现遗传算法(用遗传算法破解密码)

知乎专栏： https://www.zhihu.com/people/feng-xue-ye-gui-zi本系列文章的所有源代码都将会开源，需要源代码的小伙伴可以去我的 Github fork！上一篇文章我们动手实验了用遗传算法求解函数在给定区间的最大值。本篇文章再来看一个实验：用遗传算法破解密码。在这个问题中，我们的个体就是一串字符串了，其目的就是找到一个与密码完全相同的字符串。基本步骤与前一...

2018-03-23 16:29:34 646

原创 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128) 解决

最近在用Python处理中文字符串时，报出了如下错误：UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 0: ordinal not in range(128) 1、原因因为默认情况下，Python采用的是ascii编码方式，如下所示：◄► python -c "import sys; print sys.g...

2018-03-23 16:28:50 867

原创 MySQL数据库查看数据表占用空间大小和记录数

MySQL数据库中每个表占用的空间、表记录的行数的话，可以打开MySQL的 information_schema 数据库。在该库中有一个 TABLES 表，这个表主要字段分别是：TABLE_SCHEMA : 数据库名TABLE_NAME：表名ENGINE：所使用的存储引擎TABLES_ROWS：记录数DATA_LENGTH：数据大小INDEX_LENGTH：索引大小一个表占用空间的大小...

2018-03-23 11:07:52 602

原创仰慕 Queens，先从 OpenStack Cinder 开始吧！

打造开源云计算中国第一互动社区内容专注于Linux、Kubernetes、OpenStack、容器、Ceph、Cloud Foundry......导读OpenStack 社区刚刚发行了 Queens 版本，此版本为 OpenStack 的第17个版本。此版包含了一些重大更新，例如SDN、GPU兼容和容器负载跟踪监控。正文OpenStack 正在飞速发展以满足云计算用户的需求。正如 OpenSta...

2018-03-16 15:19:16 371

原创 openstack queens版本安装-搭建你自己的企业私有云迎娶你的王后

openstack 安装步骤：环境准备：系统：centos7 x86_64controller 2c+6g+40g 192.168.147.50 可以nat上网compute 1c+4g+40g 192.168.147.60 可以nat上网neutron 1c+2g+20g 192.168.147.70 可以nat上网关闭selinux:cat /etc/sysconfig/selinux SEL...

2018-03-16 15:04:08 1210

原创 OpenStack“女王”驾到，开源云中文社区粉丝炸锅了！

打造开源云计算中国第一互动社区内容专注于Linux、Kubernetes、OpenStack、容器、Ceph、Cloud Foundry......导读2月7日，开源云中文社区发布了《对于 OpenStack 新版本Queens，您有何期待？》文章，希望了解广大社区粉丝对即将于2月28日发布的OpenStack新版本 Queens （https://releases.openstack.org/q...

2018-03-16 14:58:27 691

原创 2017年深度学习必读31篇论文（附下载地址）

2017年即将擦肩而过，Kloud Strife在其博客上盘点了今年最值得关注的有关深度学习的论文，包括架构/模型、生成模型、强化学习、SGD & 优化及理论等各个方面，有些论文名扬四海，有些论文则非常低调。一如既往，首先，标准免责声明适用，因为今年仅与GAN有关的论文就超过1660篇。我肯定会有疏漏，试图缩减到每两周一篇论文，包含了Imperial Deep Learning Readi...

2018-03-16 11:06:46 567

原创用 Scikit-Learn 和 Pandas 学习线性回归

对于想深入了解线性回归的童鞋，这里给出一个完整的例子，详细学完这个例子，对用scikit-learn来运行线性回归，评估模型不会有什么问题了。1. 获取数据，定义问题没有数据，当然没法研究机器学习啦。:) 这里我们用UCI大学公开的机器学习数据来跑线性回归。数据的介绍在这： http://archive.ics.uci.edu/ml/datasets/Combined+Cycle+Power+Pl...

2018-03-16 11:02:30 491

原创十分钟搞定pandas

这是关于pandas的简短介绍，主要面向新用户。可以参阅Cookbook了解更复杂的使用方法。习惯上,我们做以下导入Python123In [1]: import pandas as pdIn [2]: import numpy as npIn [3]: import matplotlib.pyplot as plt创建对象使用传递的值列表序列创建序列, 让pandas创建默认整数索引Python...

2018-03-16 10:46:11 351

原创一文读懂 CNN、DNN、RNN 内部网络结构区别

从广义上来说，NN(或是更美的DNN)确实可以认为包含了CNN、RNN这些具体的变种形式。在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包括卷积层或是LSTM单元。但是就题主的意思来看，这里的DNN应该特指全连接的神经元结构，并不包含卷积单元或是时间上的关联。因此，题主一定要将DNN、CNN、RNN等进行对比，也未尝不可。其实，如果我们顺着神经网络技术发展的脉络，就很容易弄清...

2018-03-16 10:43:44 615

原创 Python数据分析之pandas学习

Python中的pandas模块进行数据分析。接下来pandas介绍中将学习到如下8块内容：1、数据结构简介：DataFrame和Series2、数据索引index3、利用pandas查询数据4、利用pandas的DataFrames进行统计分析5、利用pandas实现SQL操作6、利用pandas进行缺失值的处理7、利用pandas实现Excel的数据透视表功能8、多层索引的使用一、数据结构介绍...

2018-03-16 10:05:08 332

原创 python之pandas的基本使用（1）

一、pandas概述pandas ：pannel data analysis（面板数据分析）。pandas是基于numpy构建的，为时间序列分析提供了很好的支持。pandas中有两个主要的数据结构，一个是Series，另一个是DataFrame。二、数据结构 SeriesSeries 类似于一维数组与字典(map)数据结构的结合。它由一组数据和一组与数据相对应的数据标签（索引index）组成。这组...

2018-03-16 10:03:42 286

原创 Numpy 小结

Python 真火来学习一下，先来看一个库 NumPy。NumPy是Python语言的一个扩充程序库。支持高级大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。1. 读取文件numpy.genfromtxt() 用于读取 txt 文件，其中传入的参数依次为：需要读取的 txt 文件位置，此处文件与程序位于同一目录下分割的标记转换类型，如果文件中既有文本类型也有数字类型，就先转成文本...

2018-03-16 10:00:17 203

原创 Java算法---遗传算法示例

用一个简单的实例带大家走进遗传算法的神奇世界。问题描述：求下面二元函数的最大值：遗传算法主要核心包括：编码，初始种群的产生，适应度计算，选择算子，交叉算子，变异算子。这个示例中采用二进制编码，x1,x2的范围在[1-7]直接，可以选择3位二进制进行编码，3为二进制编码刚好和每个数字对应。适应度计算，可以采取目标函数f(x1.x2)，...

2018-03-14 10:25:57 668

原创从零开始实现遗传算法(用遗传算法破解密码)

本系列文章的所有源代码都将会开源，需要源代码的小伙伴可以去我的 Github fork！上一篇文章我们动手实验了用遗传算法求解函数在给定区间的最大值。本篇文章再来看一个实验：用遗传算法破解密码。在这个问题中，我们的个体就是一串字符串了，其目的就是找到一个与密码完全相同的字符串。基本步骤与前一篇文章基本类似，不过在本问题中，我们用字符的ASCII值来表示个体(字符串)的DNA。其它的就不多说了，还...

2018-03-14 10:25:27 696

原创以太坊（1）--在CentOS 6.5上搭建以太坊私有链的步骤（图文详细）

我们在研究和使用以太坊的过程中，碰到了许多坑，走了许多的弯路。用以太坊作为关键词去百度或者谷歌搜索，虽然能够搜到许多结果，但其实对于我们来说，这些结果存在2个问题：1，网上的这些文章互相拷贝，虽然看起来很多，但其实就那么两篇；2，一些文章里介绍的步骤虽然看起来很合理，很顺畅，但其实真正跑起来，还是存在一定困难的。本文将以最简单、最正确的方式搭建以太坊私有链，一来，作为我们学习自己成果的记录，二来，...

2018-03-02 16:39:20 585

原创使用zipkin做分布式链路监控

介绍Zipkin 为一个分布式的调用链跟踪系统( distributed tracing system ) ,设计来源于 google dapper paper官方网站 http://zipkin.io/快速入门安装方式一：使用zipkin官方提供的jar启动服务 zipkin官方提供了一个现成的使用springboot写的zipkin服务端，客户端的链路监控报告可以通过多种方式（下文会讲解具体的...

2018-03-02 16:37:46 831

原创使用Sublime text 3打造一个小巧但强大的Go语言开发IDE

使用Sublime text 3打造一个小巧但强大的Go语言开发IDE最近在学习GO语言，网上找了一下GO语言的IDE，发现GO语言目前没有一个专业的IDE，都是一些各种插件来实现的，由于go的特性：开发过程中需要设置GOPATH用到第三方的包又要使用go get运行的时候要用go run打包的要使用go install交叉编译的时候还要配置GOARCH GOOS go build试了很多朋友分享...

2018-03-02 16:37:35 957

原创以太坊私有链创建及智能合约的部署和交互

部署本机私有链区块链说白了就是一个个块链接起来的一个链表结果，所以要在本机生成一个自己的私有链首先要做的就是自己先创建一个块作为第一个将要生成的区块链的第一个区块（区块链叫做创世块），所以先生成一个json文件genesis.json,内容为创世块的内容（也是每个区块的包含的基本内容）：{ "nonce":"0x0000000000000042", "difficu...

2018-03-02 16:21:16 1215

原创一篇文章让你彻底明白区块链有哪些应用场景

区块链技术的核心是沿时间轴记录数据与合约，并且只能读取和写入，不能修改和删除。在应用层面，区块链的安全、透明、高效3大优势，使其特别有助于规范互联网金融的发展，以及促进物联网和共享经济的普及与创新；在资本市场，采用分布式数据库和智能合约还可以大幅减少人工核对工作，为金融机构节省成本。　　本文结合案例介绍金融领域内的6个区块链应用场景和细分市场：数字货币转账、支付、借贷；跨境支付与结算；央行发行数字...

2018-03-02 16:19:36 4586

原创银行卡号编码规则及其应用

绑卡时输入银行卡号后识别出银行和卡种是如何做到的？为什么能够在卡号输入有误时进行友好提示？本篇文章将为大家揭晓。一、银行卡结构XXXXXX XXXXXXXXXXXX X发卡行标识代码自定义位校验码根据ISO标准，银行卡长度一般在13-19位，国际上也有12位的。银联标准卡卡长度一般是在16-19位，双组织卡也有13-19位的。二、发卡行标识代码发卡行标识代码Bank Identificatio...

2018-03-02 16:17:52 1327

原创 2018 年 Linux 八大发展预测，Ubuntu 将主宰物联网

转眼间，时间已进入 2018 年，Linux 在 2017 年发生了哪些变化，2018 年又会有哪些新的趋势?外媒对 Linux 今年的发展做了八大预测，看看你是否赞同：预测一：Ubuntu 18.04 LTS 将成为 Ubuntu 史上最受欢迎的版本Ubuntu 18.04 LTS “Bionic Beaver”（仿生河狸）是一个有着许多改变的版本，不管对于新用户还是老用户来说，都有惊喜。预测...

2018-03-02 16:14:15 252

原创使用 Neuroph Java 框架创建人工神经网络

本教程集合了我感兴趣的三个方面：Java 语言、人工神经网络和年度 NCAA 男篮甲级锦标赛（也称为“疯狂三月”）。鉴于这一点，在本教程中，我将介绍以下四个主题：人工神经网络 (ANN) 概念多层感知器 (MLP)Neuroph Java 神经网络框架案例研究：疯狂三月我并不打算提供人工神经网络的全套（或近乎全套的）理论。网络上已经有很多资源都很好地阐述了这一复杂主题（在需要时我会提供链接）。我要...

2018-03-01 13:46:50 7017

原创如何向弱智程序员解释区块链

文章来源于知乎导读：区块链技术的文章泛滥成灾，但大多读起来晦涩难懂。这篇在知乎上点赞量达到1万+的文章，就有点意思了。作者写这篇文章初衷正是苦恼于不知该如何跟弱智室友解释区块链。作者来自浙江大学 • 竺可桢学院、纽约大学 (New York University) • 计算机科学学院，自称区块链黑客，他的文章会迅速让你感觉区块链很弱智的样子。对于这篇文章提出的观点，你是否赞成呢，欢迎在文末留言。以...

2018-03-01 11:06:59 518

原创秀币Showcoin：区块链+直播何以抟扶摇而上

最近一个非常牛的项目——秀（Show.One）横空出世。秀（Show.One）将目前最火热的直播和区块链结合起来，旨在颠覆目前直播行业，打造一个公平公正、去中心化的直播平台。那么，这个项目到底值不值得投资呢？接下来，让笔者带各位一起深度分析一下该项目。一、项目简介Show.One 是一个基于ETH区块链基础设施的交互式直播分发SAAS平台，人们可以在其中建立自己的去中心化直播，比如：游戏，社交，电...

2018-03-01 10:49:34 694

原创 Gartner公布：2018年十大战略科技发展趋势研发战略演进研究榜单

全球领先的信息技术研究和顾问公司Gartner公布了将在2018年对大部分企业机构产生显著影响的首要战略科技发展趋势。Gartner将战略科技发展趋势定义为具有巨大颠覆性潜力、脱离初期阶段且影响范围和用途正不断扩大的战略科技发展趋势；这些趋势在未来五年内迅速增长、高度波动、预计达到临界点。“Gartner的2018年十大战略科技发展趋势（top10 strategic technology tre...

2018-03-01 10:43:55 459

原创 2018年教育技术十大趋势

华南师范大学教育信息技术学院焦建利教授给出了他的相关预测：2018国内教育技术十大趋势1. 教育信息化相关企业将从销售硬件和产品，转向销售服务。教育技术和教育信息化相关的研究、开发和实践，将越来越走向“以用户为中心”和以“以教学为中心”，而不再是“以技术为中心”。教育信息化相关企业将从销售硬件和产品，转向销售服务。这一趋势在创客相关的产业突显的更加明显。在2018年，真正有潜力和市场机会的创客相关...

2018-03-01 10:41:02 351

原创关于2018年九大改变世界的技术趋势

技术的世界正在爆炸式发展，“日新月异”不再是一个修辞，而是正在发生的现实。在这其中，有一些发展趋势注定要改变世界，改变我们的生活方式。在此，我们借鉴美国大数据专家Bernard Marr的观点，为大家介绍2018年最重要的九大技术趋势。趋势1：正在日益增长的“数据化”（datafication）生活　　使用星享卡购买一杯焦糖玛奇朵，在微信中跟朋友畅聊半宿，抑或是在虾米音乐中听30首“今日推荐”……...

2018-03-01 10:39:06 313

Flink1.11中文文档

空空如也