2017年10月_DemonHunter211

原创 Docker下，实现多台机器之间相互SSH免密码登录

在Docker下搭建hadoop集群环境的时候，需要将集群的机器设置为相互SSH免密码登录，这里将整个设置过程总结下来。机器情况一共启动三个容器，都是centos6.7的系统，每个容器的名字和ip如下图所示：镜像文件我们要实现SSH免密码登录，所以运行的容器是要有SSH服务的，为了快速实现我们就不自己装SSH服务了，hub.docker.com上的kinog

2017-10-31 13:42:48 3360 1

原创 Java实战操作MongoDB集群（副本集）

pring提供了MongoDB操作的工具：MongoTemplate，使得在Spring环境下对MongoDB的操作更为便利，本章我们就来学一下如何用MongoTemplate对MongoDB的集群环境（副本集）做操作；实战环境选用Docker本次实战，Web工程和MongoDB都运行在Docker环境的容器中，这么做是为了快速搭建环境，不要在环境上花费太多时间，更聚焦Java开发

2017-10-31 09:23:10 765 1

原创 Linux文件及目录管理

文件管理目标：对系统中的文件进行增、删、该、查。查询：1、查看当前工作路径：pwd2、查文件列表：ls格式：ls [-arRlh] [路径]注：当不指定路径是则显示当前目录路径下的文件列表。选项：--help 显示帮助-a 即all，显示所有文件，包括以.开头的隐藏文件。ls -a /root-l 以long长格式显示文

2017-10-31 09:20:16 335

原创数据库安全的5个基本实践

译者注：现在已经进入到大数据时代，因此数据和数据库安全比以往任何时候都更加珍贵。如何确保组织机构和用户数据的安全性和可靠性是每个人都得掌握的一项技能。以下为译文。一旦数据发生泄露，那么付出的代价将是非常惨痛的。由于数据泄露而导致的业务中断、客户信心丧失、法律成本、监管罚款，或者是由于类似于蠕虫病毒攻击造成的直接损失，这些后果可能需要花费数百万。俗话说得好，最好的防守就是发起进攻，所以让我们

2017-10-31 09:17:51 477

原创 TensorFlow 优化实践

写在前面的话在前面一章中说到了TensorFlow的基础用法，这一章作为一个进阶来聊聊神经网络的具体的结构和参数问题，包括：前馈神经网络循环神经网络神经网络参数大概就这三个中心内容。当然每个部分展开又是很多东西，但是好在这里只是聊聊工具的使用。所以大概还是一个章节的内容。前馈神经网络前馈神经网络包括全链接网络与卷积神经网络，这两者其实并没有大的区别，一般情况

2017-10-31 09:12:09 628

原创 ServiceComb中的数据最终一致性方案

数据一致性是构建业务系统需要考虑的重要问题，以往我们是依靠数据库来保证数据的一致性。但是在微服务架构以及分布式环境下实现数据一致性是一个很有挑战的的问题。ServiceComb作为开源的微服务框架致力解决微服务开发过程中的问题。我们最近发起的ServiceComb-Saga项目来解决分布式环境下的数据最终一致性问题。本文将向大家介绍为什么数据一致性如此重要？Saga又是什么？单体应用的

2017-10-31 09:10:19 1541

原创最热门的3个基于Java的Blockchain库

【译者注】在本文中，作者介绍了三个使用区块链的Java项目，以及每个项目适用的场合，供开发者根据自己的需求进行选择。以下为译文：大家应该都听说过比特币、以太币或其他加密货币，这些名字在新闻中经常出现，但是作为Java开发人员，你们知道如何轻松地与Blockchain技术进行交互吗?下面是可以利用Blockchain的三大Java项目。这个列表是基于GitHub存储库的星序排列的。非常感谢你

2017-10-31 09:08:53 295

原创没那么难，谈CSS的设计模式

什么是设计模式？　　曾有人调侃，设计模式是工程师用于跟别人显摆的，显得高大上；也曾有人这么说，不是设计模式没用，是你还没有到能懂它，会用它的时候。　　先来看一下比较官方的解释：“设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。毫无疑问，设计模式于己于他人于系统

2017-10-31 09:08:15 265

原创如何利用Java库学习神经网络

译者注：作者介绍了神经网络的进化历史，总结了流行的Java神经网络库，以及实现神经网络的方法。作为开发人员，我们习惯从用命令或函数的角度来思考问题。程序由任务组成，每个任务都包含一些编程结构。神经网络不同于这种编程方法，因为它加入了自动任务改进的概念，或者类似于大脑的学习和改进的能力。换句话说，神经网络在没有特定任务编程的情况下主动学习新的活动。本教程不是教你从头开始编写神经网络

2017-10-31 09:06:25 362

原创技术分享：基于 Kubernetes 的 AI 训练实践

2017 China KEUC（Kubernetes End User Conference）秉承开放协作、技术共享的宗旨，致力于为业界带来最新 Kubernetes 技术、行业应用案例展示与最佳实践，同时将中国已有的优秀实践经验推广到全球，这对于 Kubernetes 从理论到落地推广、并走向国际化将有着极为深远的意义。近日，七牛云亮相Kubernetes 中国用户大会，来自七牛容器云部门的后端

2017-10-30 16:24:26 893

原创实时可靠的开源分布式实时计算系统——Storm

在Hadoop生态圈中，针对大数据进行批量计算时，通常需要一个或者多个MapReduce作业来完成，但这种批量计算方式是满足不了对实时性要求高的场景。Storm是一个开源分布式实时计算系统，它可以实时可靠地处理流数据。Storm特点在Storm出现之前，进行实时处理是非常痛苦的事情，我们主要的时间都花在关注往哪里发消息，从哪里接收

2017-10-30 15:05:06 358

原创自然语言处理基础技术之分词、向量化、词性标注

前言前段时间，因为项目需求, 开始接触了NLP，有感自己不是科班出身，很多东西理解不深，于是花时间再读了一些NLP的经典教程的部分章节，这里是第一部分，主要包括三小块：中文分词、词向量、词性标注，这三块是前段时间项目上有用到过，所以稍做总结与大家分享下，只有更极致地深入了解才能学习得更多。分词分词可能是自然语言处理中最基本的问题，在英文中，天然地使用空格来对句子做分词工作

2017-10-30 14:48:35 1238

原创 2018世界十大技术发展趋势：AI成为基础、从云到边缘概念兴起

近日，全球领先的信息技术研究和顾问公司Gartne公布了即将在2018年对大部分企业机构产生显著影响的首要战略科技发展趋势，人工智能依旧是瞩目的焦点。本次公布的2018年十大战略科技发展趋势，前三个战略科技发展趋势探讨了人工智能与机器学习将如何渗透至几乎任意领域，并代表着未来五年内技术提供商的一个主战场。随后的四个趋势集中于混合数字与物理世界，以打造一个沉浸式、

2017-10-30 14:46:09 1533

原创 Github上Python超越Java，应届人工智能程序员年薪30w+

GitHub 2017年年度报告发布：有70万来自中国的新用户加入，占据Github新人总数70%。Python超越Java成为第二最受欢迎的语言，TensorFlow依然是最受欢迎的深度学习库。人世间，流浪人归，亦若回流川《深夜食堂2》Python超越Java跃居第二Python取代Java成为GitH

2017-10-30 14:45:11 512

原创什么是供应链？

摘要：传统的供应链概念是指商品到达消费者手中之前各相关者的连接或业务的衔接，从采购原材料开始，制成中间产品以及最终产品，最后由销售网络把产品送到消费者手中的一个整体的供应链结构。传统商品的供应链概念也完全适用于计算机软硬件，则可以衍生出软件供应链这一概念。传统的供应链概念是指商品到达消费者手中之前各相关者的连接或业务的衔接，从采购原材料开始，制成中间产品以及最终产品，最后由销售网络把产

2017-10-30 14:40:21 866

原创浅谈物联网的关键技术和难点

物联网中的核心关键技术　　核心关键技术主要有RFID技术、传感器技术、无线网络技术、人工智能技术、云计算技术等。　　1、RFID技术　　是物联网中“让物品开口说话”的关键技术，物联网中RFID标签上存着规范而具有互通性的信息，通过无线数据通信网络把他们自动采集到中央信息系统中实现物品的识别。　　　　2、传感器技术　　在物联网中传感器

2017-10-30 14:19:41 19654

原创在物联网技术引领的智能时代，什么是智慧停车？

在物联网技术引领的智能时代，什么是智慧停车？在如今互联网、物联网技术引领的智能时代，相信大家都很容易理解为什么智慧停车解决方案具有创新性。安装在地面上的传感器或安装在灯杆以及楼宇上的摄像头，可以检测停车位是否被占用。这些检测数据被无线路由到某个网关，然后再被传送到一个基于云端的智能停车平台，并与来自其它传感器的数据聚合在一起，创建一个实时的停车地图。司机在他们的手机上使

2017-10-30 14:11:33 814

原创最晚火起来的家电后市场，还面临着哪些痛点和难点

洗衣O2O2014-2015年是O2O行业集中爆发的年份，垂直细分领域的生活服务类O2O概念火的一塌糊涂，也吸引了很多风投一起和创业者迎风翩翩起舞，团购、打车、订餐、家政、美业、洗车等各行各业都开始了一场O2O烧钱大战的赛跑，就连相对低频的家电后市场俗称O2O创业领域最后一块处女地也被资本捅破开了，随着专注家电后市场的几家O2O企业轻松家电、侍家（10+）等相继拿到大额风险投资，O2O领域最后

2017-10-30 11:46:26 2742

原创物联网的长期演进技术

内容提要：随着LTE(长期演进)技术的发展，这项技术可以满足建设更方便互连世界的需求，而围绕该问题的蜂窝蓝图也变得日趋复杂。为了将LTE引入物联网，不同国家/地区和运营商采用了不同的技术和频段，最终导致出现了明显的市场分割现象。这些分歧和复杂现状让产品创造者意识到需要采取战略性手段来使物联网设备永不过时。其中部分战略手段包括利用eSIM、引脚兼容和多频段模块以及MVNO/物联网平台。尽管近

2017-10-30 09:21:46 1548

原创从CNN视角看在自然语言处理上的应用

卷积神经网络（Convolutional Neural Network）最早是应用在计算机视觉当中，而如今CNN也早已应用于自然语言处理（Natural Language Processing）的各种任务。本文主要以CMU CS 11-747（Neural Networks for NLP）课程中Convolutional Networks for Text这一章节的内容作为主线进行讲解。

2017-10-27 17:10:10 259

原创 sqlalchemy连接postgresql

如果出现权限问题请把url里面的地址改为ip地址，不要用localhostApp和User里面的tablename对应数据库里面的表名执行之前手动连一下postgresql数据库查看一下数据from sqlalchemy import Column,String,create_enginefrom sqlalchemy.types import CHAR,Integer

2017-10-27 15:52:41 1021

原创 ambari安装详解

（一）准备工作1、准备几台机器10.1.51.100 ambariserver 本地mirrorserver及ambari server都在这一台机器10.1.51.10 master10.1.51.11 slave110.1.51.12 slave22、都创建管理用户hadoop3、做ssh免密码登录(ambariserver到其他机器的，hadoop用户)ssh

2017-10-27 13:56:00 914

原创如何快速全面建立自己的大数据知识体系？

很多人都看过不同类型的书，也接触过很多有关大数据方面的文章，但都是很零散不成系统，对自己也没有起到多大的作用，所以作者第一时间，带大家从整体体系思路上，了解大数据产品设计架构和技术策略。大数据产品，从系统性和体系思路上来做，主要分为五步：针对前端不同渠道进行数据埋点，然后根据不同渠道的采集多维数据，也就是做大数据的第一步，没有全量数据，何谈大数据分析；第二步，基于采集回来的

2017-10-27 13:55:02 620

原创 5个典型实例告诉你：什么是数据可视化

大数据时代，数据是非常重要的，怎样把它的重要之处就展示出来是我们需要掌握的，这就是大讲台老师本文要讲的重点数据可视化。通过观察数字和统计数据的转换以获得清晰的结论并不是一件容易的事。必须用一个合乎逻辑的、易于理解的方式来呈现数据。（一）谈谈数据可视化人类的大脑对视觉信息的处理优于对文本的处理——因此使用图表、图形和设计元素，数据可视化可以帮你更容易的解释趋势和统

2017-10-27 13:53:54 2074 1

原创大数据、数据分析、数据统计、数据挖掘、OLAP的区别

在大数据领域里，经常会看到例如数据挖掘、OLAP、数据分析等等的专业词汇。如果仅仅从字面上，我们很难说清楚每个词汇的意义和区别。今天，我们就来通过一些大数据在高校应用的例子，来为大家说明白—数据挖掘、大数据、OLAP、数据统计的区别。一、数据分析数据分析是一个大的概念，理论上任何对数据进行计算、处理从而得出一些有意义的结论的过程，都叫数据分析。从数据本身的复杂程度、以及对数

2017-10-27 13:52:55 432

原创 python 数据分析，R语言与数据挖掘 | 学习资料分享 05

python 数据分析为什么选 python 做数据分析？在数据分析和交互、探索性计算以及数据可视化等方面，Python 将不可避免地接近于其他开源和商业的领域特定编程语言/工具，如R、MATLAB、SAS、Stata等。近年来，由于 Python 有不断改良的库（主要是 pandas），使其成为数据处理任务的一大替代方案。结合其在通用编程方面的强大实力，我们完全可以只使用 P

2017-10-27 13:51:36 600 1

原创大数据未来应用7大趋势人工智能只占其一

最近看过美国PC Magazine总编辑柯斯塔对大数据未来应用7大趋势的分析，感觉还是很中肯的，这些趋势虽然在以往的新闻中有所显现，这还是第一次被总结出来。其中，人工智能最为火爆，已经成为事实，没必要预测了，下面详细说一下大数据这7大趋势。柯斯塔指出，他认为大数据未来应用有7大趋势。他表示，大数据未来应用趋势1——物联网，现今有84亿件物品互相连结，远大于全球人口数;不只是桌电、笔电或手机

2017-10-27 13:47:43 357

原创 2017年中国程序员调查分析：大数据就业前景广阔

在互联网行业，程序员一直是很受关注的人群。特别对准备步入社会的大学生们来说，从事哪方面的职业是一个很重要的问题，而程序员就是一个比较热门的选择。大讲台老师根据2017年中国程序员调查的数据，给同学们好好介绍一下程序员的编程语言、薪酬范围等信息，让大家对程序员有个准确的认知，也方便以后的选择。大讲台老师通过对北京、广东、浙江、上海等全国28个省的优秀开发者的调查信息，对程序员的年龄组成、性别比例

2017-10-27 13:47:09 1831

原创 Apache NiFi Processor实战

1 前言Apache NiFi是什么？NiFi官网给出如下解释：“一个易用、强大、可靠的数据处理与分发系统”。通俗的来说，即Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统，其为数据流设计，它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。为了对NiFi能够表述的更为清楚，下面通过NiFi的架构来做简要介绍，如下图所示。根据官网对各个组件的说明

2017-10-27 13:45:13 1863

原创大数据七大趋势第一个趋势是物联网

美国PC Magazine总编辑柯斯塔今天表示，他认为大数据的发展趋势以数字汇流对未来最具冲击，结合物联网、区块链、人工智能、语音识别等技术，这些科技相辅相成。柯斯塔指出，他认为大数据未来应用有七大趋势。第一个趋势是物联网，现今有84亿件物品互相连结，远大于全球人口数;不只是桌电、笔电或手机等3C产品相互链接，还有物流公司用智慧扫描仪做智慧物流，这是可以改变消费者与企业的趋

2017-10-27 13:44:15 381

原创总结一个人工智能（AI）产品设计框架

前言：我是一名PC/移动互联网的产品经理，现在正在努力转型进入人工智能领域。本篇文章总结了一个刚刚学习到的AI产品设计框架，框架中整合了很多目前AI方面的知识体系。也许这个设计框架能够给想学习AI的朋友们一个知识框架，也就是学习AI到底都要学习哪些知识的一个框架，希望借此文章能够给大家抛砖引玉，与大家共同学习。本文分为两个主要章节。首先，从基础概念的角度给大家介绍一下这个产品设计框架。第二

2017-10-26 17:21:43 2747

原创每个开发人员都应该知道的10个Linux命令

原文：10 Linux Commands Every Developer Should Know 作者：Azer Koçulu 译者：roy译者注：让你生活更简单的几个不常用的Linux命令。以下为译文：作为一个软件工程师，学习Linux是我做过的最好的时间投资。因为它是一个用户必须理解和维护的系统，每天的使用经验就像在水坑中添加一滴水一样。很长时间以后，水坑就变成了湖

2017-10-26 17:06:44 604

原创全球NB-IoT发展面临六大挑战

NB-IOT(窄带物联网)可以满足依赖电池的低能源消耗装置连接和发送少量信息的需求。随着这一新技术的室内覆盖增加、对互联装置的延迟敏感度降低、装置成本的下降，多装置连接、网络架构的优化、能耗的降低，将得到更广泛的应用。2017-2018年，NB-IoT建设将有大发展，但Sigfox和LoRa也在建设包括消费者、开发者和制造商的完整商业生态圈，因此，在发展初期，对NB-IoT的期望值不要过高

2017-10-26 17:05:13 2109

原创最热门的3个基于Java的Blockchain库

【译者注】在本文中，作者介绍了三个使用区块链的Java项目，以及每个项目适用的场合，供开发者根据自己的需求进行选择。以下为译文：大家应该都听说过比特币、以太币或其他加密货币，这些名字在新闻中经常出现，但是作为Java开发人员，你们知道如何轻松地与Blockchain技术进行交互吗?下面是可以利用Blockchain的三大Java项目。这个列表是基于GitHub存储库的星序排列的。非常感谢你

2017-10-26 17:03:27 931

原创 Apache Kylin最新的Streaming OLAP实现

本文来自作者在GitChat（ID：GitChat_Club）上的精彩分享，CSDN独家合作发布。Apache Kylin是第一个来自中国的Apache顶级开源项目，连续两年获得了InfoWorld最佳开源大数据工具奖，2016年更是与Google TensorFlow一起获得该奖。 Apache Kylin的社区也非常活跃，目前Kylin被用于eBay、Expedia、网

2017-10-26 17:02:28 341

原创 Linux Shell脚本编程－－nc命令使用详解

linux nc命令使用详解功能说明：功能强大的网络工具语　法：nc [-hlnruz][-g网关...>][-G指向器数目>][-i延迟秒数>][-o输出文件>][-p通信端口>][-s来源位址>][-v...][-w超时秒数>][主机名称][通信端口...]参　数： -g网关> 设置路由器跃程通信网关，最丢哦可设置8个。 -G指向器数目>

2017-10-26 16:53:56 1680

原创实用shell脚本安装集群使用

0、节点List文件(文件名nodes，不将master列在其中，不然下面的scp脚本会出问题的，详见二-2)vi nodesnode01node02node03node041、ssh免密登录批处理(需要同级目录下的nodes文件)#!/bin/bashPASSWORD=hadoopauto_ssh_copy_id() { expect -c

2017-10-26 16:41:49 659

原创 Cloudera Manager 5.9 和 CDH 5.9 离线安装指南及个人采坑填坑记

公司的CDH早就装好了，一直想自己装一个玩玩，最近组了台电脑，笔记本就淘汰下来了，加上之前的，一共3台，就在X宝上买了CPU和内存升级了下笔记本，就自己组了个集群。话说，好想去捡垃圾，捡台8核16线程64G内存的回来，手动滑稽。3台笔记本的配置和角色分配：宿主CPU　　　　　宿主内存　　虚拟机　　虚拟机CPU/台　　　　角色及内存双核双线程　　　　　4G　　　　1台

2017-10-26 16:40:46 3422

原创 OpenStack发布第16个版本Pike，关注基础设施可组合性

根据OpenStack基金会今年4月份发布的OpenStack第九次用户调查显示，虽然OpenStack平台的使用率在不断上升，但是用户对OpenStack的满意度正在下降，问题的关键可能就是在OpenStack的可用性上。来源：sdnlab2017-09-04 09:36根据OpenStack基金会今年4月份发布的OpenStack第九

2017-10-26 15:14:34 419

原创如何杀死linux-zombie僵尸进程

百科：　　ZOMBIE：僵尸状态，表示进程结束但尚未消亡的一种状态，此时进程已经结束运行并释放大部分资源，但尚未释放进程控制块。　　与ZOMBIE对应的进程状态还有RUNNING（正在运行或等待运行状态），UNINTERRUPTABLE（不可中断阻塞状态），INTERRUPTABLE（可中断阻塞状态），STOPPED（挂起状态）。服务器通常都会带来一些僵尸进程，占

2017-10-26 14:47:12 1029

Flink1.11中文文档

空空如也