__静禅__-CSDN博客

原创 Hadoop --- 入门之MapReduce示例

单词统计（WordCount）示例：1、定义一个Mapper类：import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache....

2018-10-19 15:24:57 536

原创 Hadoop --- 入门之HDFS的JAVA API操作

JAR准备：将hadoop-2.8.0中share目录下的jar包添加到工程中：common下的hadoop-common-2.8.0.jar common/lib下的所有jar hdfs下的hadoop-hdfs-2.8.0.jar hdfs/lib下的所有jar 示例：import java.io.FileInputStream;import java.io.Fil...

2018-10-16 16:35:24 570

转载 Hadoop --- 入门之HDFS命令

目录FS ShellcatchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvputrmrmrsetrepstattailtesttexttouchzhdfs d...

2018-10-16 13:56:37 604

转载 Hadoop --- 入门之简介

Hadoop概述Hadoop是一个用于分布式大数据处理的编程框架。同时它也是个大数据处理完整的生态系统，围绕着Hadoop，这个生态系统还包括但不限于：HBase Hive Pig Spark ZooKeeper希望本系列的写作能够坚持下去，对上述内容都有所涉及吧。 Hadoop能干什么假设老王在某不知名IT公司工作，由于最近太阳活动异常，引起了领导的外甥的读硕士的同...

2018-10-16 13:32:16 293

原创 Hadoop --- 入门之环境搭建

前期准备CentOS7版本的服务器4台：（IP地址可以根据自己服务器或虚拟机的IP地址更改）192.168.153.136 hadoop01192.168.153.137 hadoop02192.168.153.138 hadoop03192.168.153.139 hadoop04 Hadoop包：http://archive.apache.org/dist/hado...

2018-10-16 13:32:06 2028

转载 Hadoop --- 入门之配置参数

Hadoop参数汇总@(hadoop)[配置] linux参数以下参数最好优化一下：文件描述符ulimit -n 用户最大进程 nproc （hbase需要 hbse book）关闭swap分区设置合理的预读取缓冲区 Linux的内核的IO调度器 JVM参数JVM方面的优化项Hadoop Performance Tuning Guide Hadoo...

2018-10-16 11:59:36 614

转载 Linux --- SSH远程登陆配置sshd_config文件详解

ssh是linux远程登录的安全协议，是 C/S 模式的架构，配置文件分为服务器端配置文件 [/etc/ssh/sshd_config] 与客户端配置文件默认配置文件[/etc/ssh/ssh_config] 用户配置文件[~/.ssh/config] sshd_config 是服务端主配置文件。这个文件的宿主应当是root，权限最大可以是”644”# $OpenBSD: ss...

2018-10-12 16:36:38 11572

转载 CentOS7 --- 使用firewalld打开关闭防火墙与端口

1、firewalld的基本使用启动： systemctl start firewalld关闭： systemctl stop firewalld查看状态： systemctl status firewalld 开机禁用： systemctl disable firewalld开机启用： systemctl enable firewalld 2.systemct...

2018-10-12 15:51:00 242

原创 Java之JavaDoc标签

javadoc工具软件识别以下标签：标签描述示例 @author 标识一个类的作者 @author description @deprecated 指名一个过期的类或成员 @deprecated description {@docRoot} 指明当前文档根目录的路径 Directory Path @exception 标志...

2018-10-11 14:50:06 3163

原创 CentOS7 --- 免密登陆

机器准备主机： hadoop01从机： hadoop02从机： hadoop03从机： hadoop04关于主机名的修改请查看：https://blog.csdn.net/Ka_Ka314/article/details/82999194注意需要在每台机器上修改下/etc/hosts文件，添加4台机器对应的ip，如下：192.168.153.136 hadoop011...

2018-10-10 16:35:42 556

原创 CentOS7 --- 修改主机名

在CentOS7中，有三种定义的主机名:1、静态的（Static hostname）“静态”主机名也称为内核主机名，是系统在启动时从/etc/hostname自动初始化的主机名。2、瞬态的（Tansient hostname）“瞬态”主机名是在系统运行时临时分配的主机名，例如，通过DHCP或mDNS服务器分配。 3、灵活的（Pretty hostname）“灵活”主机名也...

2018-10-10 16:35:11 278

原创 Java之动态代理

ICommodity接口public interface ICommodity { int commodityPrice(String size);} ICommodity实现类Commodity动态代理就是在不改变该实现类的情况下增强该实现类的功能public class Commodity implements ICommodity{ @Override p...

2018-10-09 17:24:17 188

原创 Java之反射

import java.lang.reflect.Constructor;import java.lang.reflect.Field;import java.lang.reflect.Method;import java.util.ArrayList;import java.util.List;import org.junit.Before;import org.junit.Te...

2018-10-09 16:57:51 209

转载 Java线程池详解及四种线程池用法介绍

Executor框架是一种将线程的创建和执行分离的机制。它基于Executor和ExecutorService接口，及这两个接口的实现类ThreadPoolExecutor展开，Executor有一个内部线程池，并提供了将任务传递到池中线程以获得执行的方法，可传递的任务有如下两种：通过Runnable接口实现的任务和通过Callable接口实现的任务。在这两种情况下，只需要...

2018-10-09 15:51:22 845

原创 Zookeeper --- Java API简单实例

1、简单使用import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper.Watcher;import org.apache.zookeeper.ZooDefs.Ids;import o...

2018-10-09 10:13:49 587

转载 Java并发编程之volatile关键字

volatile这个关键字可能很多朋友都听说过，或许也都用过。在Java 5之前，它是一个备受争议的关键字，因为在程序中使用它往往会导致出人意料的结果。在Java 5之后，volatile关键字才得以重获生机。　　volatile关键字虽然从字面上理解起来比较简单，但是要用好不是一件容易的事情。由于volatile关键字是与Java的内存模型有关的，因此在讲述volatile关键之前，我...

2018-10-08 17:54:16 184

转载 Java多线程之守护线程

Java中线程分为两种类型：用户线程和守护线程。通过Thread.setDaemon(false)设置为用户线程；通过Thread.setDaemon(true)设置为守护线程。如果不设置次属性，默认为用户线程。用户线程和守护线程的区别：1. 主线程结束后用户线程还会继续运行,JVM存活；主线程结束后守护线程和JVM的状态又下面第2条确定。2.如果没有用户线程，都是守护线程，那么...

2018-10-08 17:31:38 279

原创 Linux --- Zookeeper的数据结构和命令

1、ZK数据结构（类似于文件系统） 2、节点类型2.1、Znode有两种类型：EPHEMERAL（临时，断开连接时删除） PERSISTENT（持久，断开连接时不删除） 2.2、Znode有四种形式的目录节点（默认是PERSISTENT）：PERSISTENT（持久的节点） EPHEMERAL（临时的，注册的客户端断开连接就会删除节点，临时节点不允许有子节点） ...

2018-10-08 14:45:12 318

原创 Python3 --- 多层向前神经网络NN

一、概述神经网络算法( Neural Network )是机器学习中非常非常重要的算法。这是整个深度学习的核心算法，深度学习就是根据神经网络算法进行的一个延伸。理解这个算法的是怎么工作也能为后续的学习打下一个很好的基础。二、背景神经网络是受神经元启发的，对于神经元的研究由来已久，1904年生物学家就已经知晓了神经元的组成结构。 1943年，心理学家McCulloch和数学...

2018-09-13 15:16:04 2141

原创 SVM --- 支持向量机

一、SVM概述在机器学习领域中，SVM（支持向量机）是一种可用于分类和回归任务监督学习算法，在实践中，它的主要应用场景是分类。为了解释这个算法，首先我们可以想象一大堆数据，其中每个数据是高维空间中的一个点，数据的特征有多少，空间的维数就有多少。相应的，数据的位置就是其对应各特征的坐标值。为了用一个超平面尽可能完美地分类这些数据点，我们就要用SVM算法来找到这个超平面。在这个算法中，所谓...

2018-09-12 15:39:13 521

转载 Linux --- CentOS7彻底卸载mysql

一、卸载Centos7自带的Maridb数据库卸载maridb：[root@host-131 ~]# rpm -qa | grep mariadbmariadb-libs-5.5.52-1.el7.x86_64[root@host-131 ~]# yum -y remove mari*[root@host-131 ~]# rm -rf /var/lib/mysql/*[root@h...

2018-09-12 00:16:39 2830

转载 Linux --- CentOS7安装mysql

Linux安装mysql校验当系统是否安装mysql：rpm -qa | grep mysql 已经安装卸载mysql：rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 (查看到的选项)　　// 强力删除模式，如果使用上面命令删除时，提示有依赖的其它文件，则用该命令可以对其进行强力删除安装mysql：三行命令：...

2018-09-12 00:14:38 201

原创 Linux --- 网卡配置详解

1、网卡配置地址：/etc/sysconfig/network-scripts/ifcfg-eth0 2、网卡配置参数详解DEVICE=”eth0" ------ 网卡名称NM_CONTROLLED=yes ------ network mamager的参数 ,是否可以由NNetwork Manager托管HWADDR=...... ------ MAC地址TYPE=E...

2018-09-07 20:55:53 2961

原创 Python3 --- 机器学习概述

一、机器学习1.1、概述：多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。1.2、学科定位：人工智能(Artificial Intelligence, AI）的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不...

2018-09-07 16:44:01 434

转载 Linux --- 目录结构及详细介绍

/：根目录，位于Linux文件系统目录结构的顶层，一般根目录下只存放目录，不要存放文件，/etc、/bin、/dev、/lib、/sbin应该和根目录放置在一个分区中。/bin，/usr/bin：该目录为命令文件目录，也称为二进制目录。包含了供系统管理员及普通用户使用的重要的linux命令和二进制（可执行）文件，包含shell解释器等。/boot：该目录中存放系统的内核文件和引导装载程序...

2018-09-06 21:41:39 368

原创 DecisionTree --- 决策树

一、什么是决策树决策树是附加概率结果的一个树状的决策图，是直观的运用统计概率分析的图法。机器学习中决策树是一个预测模型，它表示对象属性和对象值之间的一种映射，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布，树的最顶层是根结点。二、决策树案例案例：决策树：三、决策树建立决策...

2018-09-05 15:52:22 904

转载 Python3 --- sqlalchemy

本节内容ORM介绍 sqlalchemy安装 sqlalchemy基本使用多外键关联多对多关系表结构设计作业 1. ORM介绍orm英文全称object relational mapping,就是对象映射关系程序，简单来说我们类似python这种面向对象的程序来说一切皆对象，但是我们使用的数据库却都是关系型的，为了保证一致的使用习惯，通过orm将编程语言的对象模型和数...

2018-09-04 14:05:42 1856

原创 Python3 --- Tornado之异步

因为epoll主要是用来解决网络IO的并发问题，所以Tornado的异步编程也主要体现在网络IO的异步上，即异步Web请求。1. tornado.httpclient.AsyncHTTPClientTornado提供了一个异步Web请求客户端tornado.httpclient.AsyncHTTPClient用来进行异步Web请求。fetch(request, callback=Non...

2018-08-08 15:04:56 1644

原创 Python3 --- Tornado之数据库访问

import tornado.webimport tornado.ioloopimport tornado.httpserverimport osimport pymysqlfrom tornado.options import define, optionsdefine("port", default=8000, help="run on the given port", t...

2018-08-08 14:22:49 1041

转载 Python3 --- yield实现异步 + yield结合装饰器

一、yield实现异步yield在python中初学时，觉得比较难理解。yield的作用： ①返回一个值、②接收调用者的参数分析下面的代码：#!/usr/bin/env python3# -*- coding:utf-8 -*-def consumer(): r = '' while True: n = yield r prin...

2018-08-08 14:22:30 2181 1

原创 Python3 --- Tornado之用户验证装饰器

authenticated装饰器为了使用Tornado的认证功能，我们需要对登录用户标记具体的处理函数。我们可以使用@tornado.web.authenticated装饰器完成它。当我们使用这个装饰器包裹一个处理方法时，Tornado将确保这个方法的主体只有在合法的用户被发现时才会调用。class IndexHandler(tornado.web.RequestHandler): ...

2018-08-08 14:22:24 1318

原创 Python3 --- Tornado之Cookie

一、设置cookie：set_cookie(name, value, domain=None, expires=None, path='/', expires_days=None)参数说明：name：cookie名 value：cookie值 domain：提交cookie时匹配的域名 path：提交cookie时匹配的路径 expires：cookie的有效期，可以是时间戳...

2018-08-08 14:22:15 1098

原创 Python3 --- Tornado之模板

目录一、模板渲染二、模板语法2.1、变量输出2.2、表达式输出2.3、注释一个部分，防止他被输出2.4、模板替换2.5、模板继承2.6、for循环2.7、from引入包2.8、import引入包2.9、if分支2.10、引入模板文件2.11、渲染UI模块2.12、不转义输出2.13、设置局部变量2.14、异常处理2.15、whil...

2018-07-26 16:51:07 731

转载前后端分离的优缺点

WEB 前后端分离三个最大的优点在于：1：最大的好处就是前端JS可以做很大部分的数据处理工作，对服务器的压力减小到最小2：后台错误不会直接反映到前台，错误接秒较为友好3：由于后台是很难去探知前台页面的分布情况，而这又是JS的强项，而JS又是无法独立和服务器进行通讯的。所以单单用后台去控制整体页面，又或者只靠JS完成效果，都会难度加大，前后台各尽其职可以最大程度的减少开发难度。为了解决传统...

2018-07-26 16:50:55 45539 5

原创 Python3 --- Tornado之静态资源

一、通过static_path实现import tornado.webimport tornado.ioloopimport tornado.httpserverimport osfrom tornado.options import define, optionsdefine("port", default=8002, help="run on the given port"...

2018-07-26 16:50:47 1890

原创 Python3 --- Tornado之Response

一、返回Json数据import tornado.webimport tornado.ioloopimport tornado.httpserverimport tornado.options # 新导入的options模块class IndexHandler(tornado.web.RequestHandler): """主路由处理类""" def get(sel...

2018-07-25 13:44:21 3435

原创 Python3 --- Tornado之Request

一、Tornado的Request对象属性属性说明 self.request.method http的请求头;get, post等 self.reuqest.uri 客户端请求完整的uri self.request.path uri的路径名,不包含查询的字符串 self.request.query uri中的查询字符串 self.reques...

2018-07-23 16:17:17 5552 1

原创 Python3 --- Tornado之Tornado.web.Application的settings参数

Tornado.web.Application的settings参数传递给构造器的附加关键字参数保存在 settings 字典中, 并经常在文档中被称为”application settings”. Settings被用于自定义Tornado的很多方面(虽然在一些情况下, 更丰富的定制可能是通过在 RequestHandler 的子类中复写方法). 一些应用程序也喜欢使用 setting...

2018-07-23 16:17:10 8057

原创 Python3 --- Tornado之Options模块

tornado为我们提供了一个便捷的工具，tornado.options模块——全局参数定义、存储、转换。 tornado.options.define()用来定义options选项变量的方法，定义的变量可以在全局的tornado.options.options中获取使用，传入参数： name 选项变量名，须保证全局唯一性，否则会报“Option 'xxx' already def...

2018-07-23 16:16:55 2809

原创 Python3 --- Tornado简介

一、Tornado简介Tornado全称Tornado Web Server，是一个用Python语言写成的Web服务器兼Web应用框架，由FriendFeed公司在自己的网站FriendFeed中使用，被Facebook收购以后框架在2009年9月以开源软件形式开放给大众。特点：作为Web框架，是一个轻量级的Web框架，类似于另一个Python web框架Web.py，其拥有异...

2018-07-23 16:16:43 3783

空空如也

空空如也