2018年01月_ZhaoYingChao88

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Django 数据库连接使用

整个项目已经放在Github上, 随时更新, 项目地址Django Model每一个Django Model都继承自django.db.models.Model在Model当中每一个属性attribute都代表一个database field通过Django Model API可以执行数据库的增删改查, 而不需要写一些数据库的查询语句设置数据库Django项目建成后, 默认设置了使用SQLi

2018-01-29 16:06:12 7363

原创 TensorFlow 基础

使用TensorFlow，你必须明白TensorFlow：使用图(graph)来表示任务被称之为会话(Session)的上下文(context)中执行图使用tensor表示数据通过变量(Variable)维护状态使用feed和fetch可以为任意操作(arbitrary operation)赋值或者从其中获取数据综述TensorFlow是一个编程系统，使用图来表示计算任

2018-01-25 20:37:11 531

原创《深度学习原理与TensorFlow实践》学习笔记

作者 | 王清目录图像识别的经典课题计算机视觉图像识别课题卷积神经网络原理前深度学习时代卷积操作Convolution池化PoolingReLURectified Linear Units多层卷积Dropout经典模型介绍及

2018-01-25 20:32:02 1342

原创深度学习框架比较（Caffe, TensorFlow, MXNet, Torch, Theano）

在这里，我将会介绍当前比较主流的5种深度学习框架，包括 Caffe, TensorFlow, MXNet, Torch, Theano，并对这些框架进行分析。首先对这些框架进行总览。库名称开发语言速度灵活性文档适合模型平台上手难易Caffe

2018-01-25 20:19:43 15357

原创 TensorFlow 官方文档中文版

http://bigdata.rzaixian.com/tensorflowzh/https://github.com/jikexueyuanwiki/tensorflow-zhTensorFlow 官方文档中文版R语言在线大数据文档集合View on GitHub起步介绍下载及安装基本用法

2018-01-25 20:16:19 690

原创 Tensorflow学习笔记:机器学习必备API

前一节介绍了一些最基本的概念和使用方法。因为我个人的最终目的还是在深度学习上，所以一些深度学习和机器学习模块是必须要了解的，这其中包括了tf.train 、tf.contrib.learn、还有如训练神经网络必备的tf.nn等API。这里准备把常用的API和使用方法按照使用频次进行一个排列，可以当做一个以后使用参考。这一节介绍的内容可以有选择的看。而且最全的信息都在TensorFlow的API里

2018-01-25 20:10:50 926

原创 linux 文件权限(s、t、i、a)解析

r(Read，读取)：对文件而言，具有读取文件内容的权限；对目录来说，具有浏览目录的权限。 w(Write,写入)：对文件而言，具有新增、修改文件内容的权限；对目录来说，具有删除、移动目录内文件的权限。x(eXecute，执行)：对文件而言，具有执行文件的权限；对目录了来说该用户具有进入目录的权限。s或S（SUID,Set UID）：可执行的文件搭配这个权限，便能得到特权，任意存取该文件的所有者

2018-01-25 16:07:35 4858

原创 vim Vundle

单独使用vim编辑文件时并没有如此错误提示。解决方案由于单独使用vim时并没有如此错误,怀疑默认的编辑器并非vim,利用echo $EDITOR查看默认的编辑器结果为空,因此设置默认的编辑器为vim.编辑~/.bashrc,在末尾添加export EDITOR=vim,然后执行source ~/.bashrc，然后在运行以上的如crontab -e 或者less命令错误

2018-01-25 10:19:17 413

原创 Python科学计算基础篇

关于NumpyNumpy是Python的一个矩阵类型，提供大量矩阵处理函数，内部通过C实现。包含两种数据结构，数组array和矩阵matrix，其实就是array而已构建数组array通过tuple构建arrayIn[1]: from numpy import *In[2]: yuanzu = (4,5,6)In[3]: ll = array(yuanzu)In[4]:

2018-01-24 10:21:56 4888

转载 IntelliJ IDEA 2017.3激活与汉化

本文以IntelliJ IDEA 2017.3为例进行讲解。（持续更新：2018年1月21日）适用版本（其它版本未测试）：IntelliJ IDEA 2017.2.6IntelliJ IDEA 2017.3IntelliJ IDEA 2017.3.1IntelliJ IDEA 2017.3.2IntelliJ IDEA 2017.3.3网络良

2018-01-23 09:43:07 9561 7

原创 hive order by,sort by, distribute by, cluster by作用以及用法

1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。这里跟传统的sql

2018-01-22 20:37:02 1837

原创 Hive调优

在一些特定的业务场景下，使用hive默认的配置对数据进行分析，虽然默认的配置能够实现业务需求，但是分析效率可能会很低。Hive有针对性地对不同的查询进行了优化。在Hive里可以通过修改配置的方式进行优化。　　以下，几种方式调优的属性。 1、列裁剪　　在通过Hive读取数据的时候，并不是所有的需求都要获取表内的所有的数据。有些只需要读取所有列中的几列，而忽略其他列的的数据。例

2018-01-22 20:31:43 474

原创 Hive 索引

hive里的索引是什么？　　索引是标准的数据库技术，hive 0.7版本之后支持索引。Hive提供有限的索引功能，这不像传统的关系型数据库那样有“键(key)”的概念，用户可以在某些列上创建索引来加速某些操作，给一个表创建的索引数据被保存在另外的表中。 Hive的索引功能现在还相对较晚，提供的选项还较少。但是，索引被设计为可使用内置的可插拔的java代码来定制，用户可以扩展这个功能来满

2018-01-22 19:35:41 1137

原创 hive视图

可以先，从MySQL里的视图概念理解入手视图是由从数据库的基本表中选取出来的数据组成的逻辑窗口，与基本表不同，它是一个虚表。在数据库中，存放的只是视图的定义，而不存放视图包含的数据项，这些项目仍然存放在原来的基本表结构中。视图可以被定义为多个表的连接，也可以被定义为只有部分列可见，也可为部分行可见。视图的作用有：

2018-01-22 17:25:33 1577

原创 Hive 分区分桶使用

为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。　分区是表的部分列的集合，可以为频繁使用的数据建立分区，这样查找分区中的数据时就不需要扫描全表，这对于提高查找效率很有帮助。分区是一种根据“分区列”（partition column）的值对表进行粗略划分的机制。Hive中的每个分区对应数据库中相应分区列的一个索引，每个分区对应着表下的一个目录，在HD

2018-01-22 17:17:33 3380 1

原创 linux内核优化，内核参数详解

一、前言本文档针对OOP8生产环境，具体优化策略需要根据实际情况进行调整；本文档将在以下几个方面来阐述如何针对RedHat Enterprise Linux进行性能优化。1) Linux Proc文件系统，通过对Proc文件系统进行调整，达到性能优化的目的。2) Linux性能诊断工具，介绍如何使用Linux自带的诊断工具进行性能诊断。加粗斜体表示可以直接运

2018-01-20 10:26:03 1259

原创分布式系统领域经典论文翻译集

分布式领域论文译序sql&nosql年代记SMAQ：海量数据的存储计算和查询一．google论文系列1. google系列论文译序2. The anatomy of a large-scale hypertextual Web search engine (译 zz)3. web search for a planet :the google cluster arch

2018-01-18 16:44:11 1342 1

原创 Linux下CGroup进行CPU、内存等资源控制

留存from: http://www.cnblogs.com/kevingrace/p/5685433.html and http://www.cnblogs.com/wang_yb/p/3942208.htmlCGroup 介绍CGroup 是 Control Groups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组 (process g

2018-01-17 16:53:34 5139 1

原创 yarn使用cgroup隔离资源

yarn默认只管理内存资源,虽然也可以申请cpu资源,但是在没有cpu资源隔离的情况下效果并不是太好.在集群规模大,任务多时资源竞争的问题尤为严重.还好yarn提供的LinuxContainerExecutor可以通过cgroup来隔离cpu资源cgroupcgroup是系统提供的资源隔离功能,可以隔离系统的多种类型的资源,yarn只用来隔离cpu资源安装cgroup

2018-01-17 16:51:37 1567

原创 Linux Container Cgroup

Cgroups是什么？Cgroups是control groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组（process groups）所使用的物理资源（如：cpu,memory,IO等等）的机制。最初由google的工程师提出，后来被整合进Linux内核。Cgroups也是LXC为实现虚拟化所使用的资源管理手段，可以说没有cgroups就没有LXC。Cgroup

2018-01-17 16:41:43 1054

原创 YARN executor user

The Shell action has the following caveats:Interactive commands are not supported.MR1:In an unsecure cluster, everything is run as the user who started the TaskTracker where our shell script i

2018-01-16 18:15:16 581

原创 YARN详解

1. YARN架构1.1 简介1.1.1 架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件构成。YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave，ResourceMa

2018-01-16 17:48:19 645

原创 linux性能分析工具介绍（CPU，内存，磁盘I/O，网络）

一. CPU性能评估1.vmstat [-V] [-n] [depay [count]]-V ：打印出版本信息，可选参数-n ：在周期性循环输出时，头部信息仅显示一次delay ：两次输出之间的时间间隔count ：按照delay指定的时间间隔统计的次数。默认是1如：vmstat 1 3user1@user1-desktop:~$ v

2018-01-10 20:51:43 5171 1

原创 Linux性能优化之CPU、内存、IO优化

Linux 的性能进行监测，以下是 VPSee 常用的工具：工具简单介绍top 查看进程活动状态以及一些系统状况vmstat 查看系统状态、硬件和系统信息等iostat 查看CPU 负载，硬盘状况sar 综合工具，查看系统状况mpstat 查看多处理器状况netstat 查看网络状况iptraf 实时网络状况监测tcpdump 抓取网络数据...

2018-01-10 20:31:39 20687 4

原创 ElasticSearch常用插件整理

说明1) 素材来自互联网，针对部分插件，已通过实际操作验证，进而整理、总结形成。（感谢度娘、感谢互联网、感谢开源世界里的大牛）2) 如有谬误，请及时指出。（咸鱼翻身，Email:defineconst@163.com，会不断更新本文档）3) 联系本人获取配置好的Elasticsearch1.6.0集成安装包。4) 插件地址：h

2018-01-10 09:42:31 5071

原创 postgresql常用命令

1.createdb 数据库名称产生数据库2.dropdb 数据库名称删除数据库3.CREATE USER 用户名称创建用户4.drop User 用户名称删除用户5.SELECT usename FROM pg_user; 查看系统用户信息 \du7.SELECT version(); 查看版本信息8.p

2018-01-08 20:41:32 2882 1

原创 Hive调优技巧汇总

参考：http://blog.csdn.net/beckham008/article/details/23741151?utm_source=tuicool&utm_medium=referral1.设置合理solt数mapred.tasktracker.map.tasks.maximum 每个tasktracker可同时运行的最大map task数，默认值2。

2018-01-08 19:38:16 5545

原创 Hive – partition table query failed when stored as parquet

Hive is developed by Facebook to analyze and extract useful information from their huge data but now it is very popular in other organizations too such as Netflix and FINRA.Use-case:Now a days

2018-01-08 19:20:54 1177 1

原创 Hadoop常见问题处理技巧汇总

1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env.sh2、j

2018-01-08 18:51:55 10478

在服务器硬件资源额定有限的情况下，最大的压榨服务器的性能，提高服务器的并发处理能力，是很多运维技术人员思考的问题。要提高Linux系统下的负载能力，可以使用nginx等原生并发处理能力就很强的web服务器，如果使用Apache的可以启用其Worker模式，来提高其并发处理能力。除此之外，在考虑节省成本的情况下，可以修改Linux的内核相关TCP参数，来最大的提高服务器性能。当然，最基础的提高负载问

2018-01-08 11:32:07 1585

原创 CDH配置使用介绍

1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件（相关服务的及CM的）。/usr/share/cmf/ : 程序安装目录。/usr/lib64/cmf/ : Agent程序代码。/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。/usr/bin/p

2018-01-07 14:26:22 2408

原创 Hadoop Hive HBase调优

性能调优之于Hadoop来说无异于打通任督二脉，对于Hadoop的计算能力会有质的的提升，而运维之于Hadoop来说，就好像金钟罩、铁布衫一般，有了稳定的运维，Hadoop才能在海量数据之中大展拳脚，两者相辅相成，缺一不可。总体来说，Hadoop运维维度取决于Hadoop的运行环境以及Hadoop软件本身。而Hadoop 性能调优是一项工程浩大的工作，它不仅涉及Hadoop本身

2018-01-07 09:50:33 1846

原创 Redis数据类型

Redis数据类型最为常用的数据类型主要有五种：String, Hash, List, Set和SortedSet. redis内部使用一个redisObject对象来表示所有的key和value。redisObject最主要的信息如下图所示： type代表一个value对象具体是何种数据类型，encoding是不同数据类型在redis内部的存储方式，比如：type=str

2018-01-04 10:35:55 305

原创 Redis性能问题排查解决手册

Redis性能问题排查解决手册阅读目录：性能相关的数据指标内存使用率used_memory命令处理总数total_commands_processed延迟时间内存碎片率回收key总结性能相关的数据指标通过Redis-cli命令行界面访问到Redis服务器，然后使用info命令获取所有与Redis服务相关的信息。通过这些信息来分析文章后面提到的一些性能指标。

2018-01-03 20:43:32 690