2017年06月_Heavbird

转载一个比较好的Ｗeb框架概括(备用，只是框架这个词，没有技术内容)

致力于解决 Web 开发领域的一般性问题而专门提供的开发组件集合，就可以称为是 Web 开发框架了。框架，在语言的上层提供了更加高级的抽象元素，帮助程序员更快速度构建一个完整的业务；框架，固化了很多工程实践领域的最佳实践方案，帮助程序员少走弯路，直接构建出品质上乘的应用；框架，提供了一整套的约定俗成，帮助互相协作的程序员快速理解团队每一个成员的编码意图，从而能够更高效率的协同开发和维护

2017-06-29 19:59:11 682

转载大数据平台架构技术选型与场景运用

导读：本文将大数据的工作角色分为三种类型，包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面，大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。一、大数据平台大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制等；与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、解决什么业务问题，这是数

2017-06-22 17:46:20 614

原创如何在ubuntu14.04上安装docker并运行image

一. 环境确认和准备１.　所要安装的正是Trusty 14.40 (LTS), 硬件是x86_64的。目前仅支持以下３个64 bit的ubuntu 版本，支持x86_64 和armhf (ARM)硬件架构。Yakkety 16.10Xenial 16.04 (LTS)Trusty 14.04 (LTS)２.　. 删掉先前安装过的旧版docker（新版的名字有变化）

2017-06-22 14:32:41 3339

原创 Ubuntu 14.04 Ｒ上安装rJava包出错问题的解决: error: unable to load shared object （rJava.so）

启动Ｒ后，在交互终端中执行　install.packages("rJava")，下载rJava包编译一会儿，报类似下面错误：Error : .onLoad failed in loadNamespace() for 'rJava', details: call: dyn.load(file, DLLpath = DLLpath, ...) error: unable to

2017-06-20 20:28:30 3981

转载微服务，够了 (对微服务的一些客观正名和经验指导)

资深架构师Adam Drake在他的博客上分享了他对微服务的看法，他从自己的经验出发，结合Martin Fowler对微服务的见解，帮助想要采用微服务的公司重新审视微服务。以下内容已获得作者翻译授权，查看英文原文 Enough with the microservices。简介关于微服务的优势和劣势已经有过太多的讨论，不过我仍然看到很多成长型初创公司对它进行着盲目崇拜。冒着“重

2017-06-19 19:52:23 433

原创安装.NET Framework 4失败解决办法

最近安装一工具软件时，提示要先安装.Net Framework 4。下载.Net fwk 4安装过程中，又提示尚未安装“.Net Framework 4 Client Profile”. 进入控制面板的程序和功能中查看，这个已安装过了的。删除再安装，依旧是这个提示，后来根据搜索尝试了几种方法后，这个方法是可行的，与Windows 更新服务有关，记录之，以备后用。Windows7 旗舰

2017-06-19 10:02:42 27089

原创 Python爬虫--Ubuntu14.04 上Scrapy的安装和错误处理

默认情况下，ubuntu 14.04中已安装了python2.7.6以及lxml, openssl 库，主要安装scrapy需要的其它包即可。一. 安装过程1. sudo apt-get install python-setuptools // 不用sudo可能会报Permission denied:xxx 相关的错误。2. sudo apt-get install pyt

2017-06-15 15:07:36 1720

原创 Sqoop 1.99.7 客户端操作实践

自1.99.7开始，客户端的一些操作关键字和参数发生了变化，网上很多还是早期版本，对照操作时难免一些命令或选项会报错。这里把本地实际操作过程及注意事项记录如下，作后续参考。1. bin/sqoop.sh client 启动客户端

2017-06-15 09:54:58 6336 3

原创 Ubuntu上安装HBase遇到的问题及解决办法

Ubuntu 14.04 + Hbase 1.2.6, 主要有如下两个问题：1. 执行bin/start-hbase.sh 时，master/slave上都报 "Error: JAVA_HOME is not set"slave02: +======================================================================+s

2017-06-15 09:40:14 2389

原创 Zookeeper启动显示成功，zkServer.sh status报错

zookeeper-3.4.9 按照指导配置完成后，再zookeeper/bin下执行 ./zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /home/hadoop/bigdata/zk/bin/../conf/zoo.cfgStarting zookeeper ... STARTED再执行

2017-06-14 17:46:33 156977

原创 Sqoop2 (1.99.7)安装部署及问题解决

Sqoop 是一个开源工具，主要用于在Hadoop和传统的数据库(Mysql, Oracle,等）进行数据传递，可以将一个关系型数据库中的数据导入Hadoop 的HDFS中，也可以将HDFS中的数据导出到关系型数据库中。1. 目前主要有sqoop1 和sqoop2两个版本，两者架构如下图所示：a. sqoop1 架构：

2017-06-14 14:06:50 3398 2

原创大数据实践中记录杂集

ssh 免密登录： vi /etc/ssh/sshd 删掉RSAAuthentication yesPubKeyAuthentication yes格式化HDFS：hdfs namenode -formatHadoop启动后，通过浏览器(IP_address:50070)可打开web GUI的hadoophttp://IP_Address:8088 可以

2017-06-13 23:36:24 178

原创搭建Hadoop+Hive+Mysql遇到的坑及解决办法

1. 安装环境硬件：三台PC，配置 Intel i5 4 Core CPU, 16G memory, 2T 硬盘软件：两台PC为ubuntu 14.04, 一台为ubuntu 16.04 ; hadoop-2.8.0, hive-1.2.2, mysql 5.5.55, jdk-8u131-linux-x64.tgz (1.8.0_131) 机器分配

2017-06-13 16:08:19 6035

原创 ubuntu 14.04+Kfce窗口下的中文输入法安装

公司服务器的ubuntu的系统中window manager不是传统ubuntu 的window mgr，却是Kfce的还没有中文输入法，熟悉了传统ubuntu window下的操作和配置，在Kfce上一些操作界面根本找不着，只好通过命令行方式搞定。回顾以下，和ubuntu window下的操作基本差不多。1. 安装基于ibus的中文输入法 // ibus 使用的较多，fcitx试过

2017-06-13 16:02:32 501

wqhlmark64的博客