自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Hadoop --- 入门之MapReduce示例

单词统计(WordCount)示例: 1、定义一个Mapper类: import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; i...

2018-10-19 15:24:57 188 0

原创 Hadoop --- 入门之HDFS的JAVA API操作

JAR准备: 将hadoop-2.8.0中share目录下的jar包添加到工程中: common下的hadoop-common-2.8.0.jar common/lib下的所有jar hdfs下的hadoop-hdfs-2.8.0.jar hdfs/lib下的所有jar   示例: ...

2018-10-16 16:35:24 199 0

转载 Hadoop --- 入门之HDFS命令

目录 FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm ...

2018-10-16 13:56:37 153 0

转载 Hadoop --- 入门之简介

Hadoop概述 Hadoop是一个用于分布式大数据处理的编程框架。同时它也是个大数据处理完整的生态系统,围绕着Hadoop,这个生态系统还包括但不限于: HBase Hive Pig Spark ZooKeeper 希望本系列的写作能够坚持下去,对上述内容都有所涉及吧。   Ha...

2018-10-16 13:32:16 113 0

原创 Hadoop --- 入门之环境搭建

前期准备 CentOS7版本的服务器4台:(IP地址可以根据自己服务器或虚拟机的IP地址更改) 192.168.153.136 hadoop01 192.168.153.137 hadoop02 192.168.153.138 hadoop03 192.168.153.139 hadoo...

2018-10-16 13:32:06 143 0

转载 Hadoop --- 入门之配置参数

Hadoop参数汇总 @(hadoop)[配置]   linux参数 以下参数最好优化一下: 文件描述符ulimit -n 用户最大进程 nproc (hbase需要 hbse book) 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器   JVM参数 ...

2018-10-16 11:59:36 231 0

转载 Linux --- SSH远程登陆配置sshd_config文件详解

ssh是linux远程登录的安全协议,是 C/S 模式的架构,配置文件分为服务器端配置文件 [/etc/ssh/sshd_config] 与客户端配置文件默认配置文件[/etc/ssh/ssh_config] 用户配置文件[~/.ssh/config]  sshd_config 是服务端主配置文件...

2018-10-12 16:36:38 4645 0

转载 CentOS7 --- 使用firewalld打开关闭防火墙与端口

1、firewalld的基本使用 启动: systemctl start firewalld 关闭: systemctl stop firewalld 查看状态: systemctl status firewalld  开机禁用  : systemctl disable firewalld...

2018-10-12 15:51:00 98 0

原创 Java之JavaDoc标签

javadoc工具软件识别以下标签: 标签 描述 示例 @author 标识一个类的作者 @author description @deprecated 指名一个过期的类或成员 @deprecated description {@docRoot} ...

2018-10-11 14:50:06 1412 0

原创 CentOS7 --- 免密登陆

机器准备 主机: hadoop01 从机: hadoop02 从机: hadoop03 从机: hadoop04 关于主机名的修改请查看:https://blog.csdn.net/Ka_Ka314/article/details/82999194 注意需要在每台机器上修改下/etc/hos...

2018-10-10 16:35:42 363 0

原创 CentOS7 --- 修改主机名

在CentOS7中,有三种定义的主机名: 1、静态的(Static hostname) “静态”主机名也称为内核主机名,是系统在启动时从/etc/hostname自动初始化的主机名。 2、瞬态的(Tansient hostname) “瞬态”主机名是在系统运行时临时分配的主机名,例如,通过...

2018-10-10 16:35:11 90 0

原创 Java之动态代理

ICommodity接口 public interface ICommodity { int commodityPrice(String size); }   ICommodity实现类Commodity 动态代理就是在不改变该实现类的情况下增强该实现类的功能 public cl...

2018-10-09 17:24:17 63 0

原创 Java之反射

import java.lang.reflect.Constructor; import java.lang.reflect.Field; import java.lang.reflect.Method; import java.util.ArrayList; import java.util....

2018-10-09 16:57:51 66 0

转载 Java线程池详解及四种线程池用法介绍

            Executor框架是一种将线程的创建和执行分离的机制。它基于Executor和ExecutorService接口,及这两个接口的实现类ThreadPoolExecutor展开,Executor有一个内部线程池,并提供了将任务传递到池中线程以获得执行的方法,可传递的任务有如...

2018-10-09 15:51:22 227 0

原创 Zookeeper --- Java API简单实例

1、简单使用 import java.util.List; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher...

2018-10-09 10:13:49 233 0

转载 Java并发编程之volatile关键字

volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java 5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在Java 5之后,volatile关键字才得以重获生机。     volatile关键字虽然从字面上理解起来比较简单,但是要用好不是一件容易...

2018-10-08 17:54:16 75 0

转载 Java多线程之守护线程

Java中线程分为两种类型:用户线程和守护线程。通过Thread.setDaemon(false)设置为用户线程;通过Thread.setDaemon(true)设置为守护线程。如果不设置次属性,默认为用户线程。   用户线程和守护线程的区别: 1. 主线程结束后用户线程还会继续运行,JVM...

2018-10-08 17:31:38 91 0

原创 Linux --- Zookeeper的数据结构和命令

1、ZK数据结构(类似于文件系统)   2、节点类型 2.1、Znode有两种类型: EPHEMERAL(临时,断开连接时删除) PERSISTENT(持久,断开连接时不删除)   2.2、Znode有四种形式的目录节点(默认是PERSISTENT): PERSISTENT(持久...

2018-10-08 14:45:12 148 0

原创 Python3 --- 多层向前神经网络NN

一、概述 神经网络算法( Neural Network )是机器学习中非常非常重要的算法。这是整个深度学习的核心算法,深度学习就是根据神经网络算法进行的一个延伸。理解这个算法的是怎么工作也能为后续的学习打下一个很好的基础。   二、背景 神经网络是受神经元启发的,对于神经元的研究由来已久,...

2018-09-13 15:16:04 703 0

原创 SVM --- 支持向量机

一、SVM概述 在机器学习领域中,SVM(支持向量机)是一种可用于分类和回归任务监督学习算法,在实践中,它的主要应用场景是分类。为了解释这个算法,首先我们可以想象一大堆数据,其中每个数据是高维空间中的一个点,数据的特征有多少,空间的维数就有多少。相应的,数据的位置就是其对应各特征的坐标值。为了用...

2018-09-12 15:39:13 216 0

转载 Linux --- CentOS7彻底卸载mysql

一、卸载Centos7自带的Maridb数据库 卸载maridb: [root@host-131 ~]# rpm -qa | grep mariadb mariadb-libs-5.5.52-1.el7.x86_64 [root@host-131 ~]# yum -y remove mari*...

2018-09-12 00:16:39 1578 0

转载 Linux --- CentOS7安装mysql

Linux安装mysql 校验当系统是否安装mysql: rpm -qa | grep mysql     已经安装 卸载mysql: rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 (查看到的选项)  // 强力删除模式,如果使用上面命...

2018-09-12 00:14:38 72 0

原创 Linux --- 网卡配置详解

1、网卡配置地址: /etc/sysconfig/network-scripts/ifcfg-eth0   2、网卡配置参数详解 DEVICE=”eth0" ------ 网卡名称 NM_CONTROLLED=yes ------ network mamager的参数 ,是否可...

2018-09-07 20:55:53 435 0

原创 Python3 --- 机器学习概述

一、机器学习 1.1、概述:多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。 1.2、学科定位:人工智能(Artificial Intelligence...

2018-09-07 16:44:01 290 0

转载 Linux --- 目录结构及详细介绍

/:根目录,位于Linux文件系统目录结构的顶层,一般根目录下只存放目录,不要存放文件,/etc、/bin、/dev、/lib、/sbin应该和根目录放置在一个分区中。 /bin,/usr/bin:该目录为命令文件目录,也称为二进制目录。包含了供系统管理员及普通用户使用的重要的linux命令和二...

2018-09-06 21:41:39 194 0

原创 DecisionTree --- 决策树

一、什么是决策树         决策树是附加概率结果的一个树状的决策图,是直观的运用统计概率分析的图法。机器学习中决策树是一个预测模型,它表示对象属性和对象值之间的一种映射,每个内部结点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或类分布,树的最顶层是根结点。   ...

2018-09-05 15:52:22 459 0

转载 Python3 --- sqlalchemy

本节内容 ORM介绍 sqlalchemy安装 sqlalchemy基本使用 多外键关联 多对多关系 表结构设计作业   1. ORM介绍 orm英文全称object relational mapping,就是对象映射关系程序,简单来说我们类似python这种面向对象的程序来说一切...

2018-09-04 14:05:42 1066 0

原创 Python3 --- Tornado之异步

因为epoll主要是用来解决网络IO的并发问题,所以Tornado的异步编程也主要体现在网络IO的异步上,即异步Web请求。 1. tornado.httpclient.AsyncHTTPClient Tornado提供了一个异步Web请求客户端tornado.httpclient.Async...

2018-08-08 15:04:56 1039 0

原创 Python3 --- Tornado之数据库访问

import tornado.web import tornado.ioloop import tornado.httpserver import os import pymysql from tornado.options import define, options define(&q...

2018-08-08 14:22:49 672 0

转载 Python3 --- yield实现异步 + yield结合装饰器

一、yield实现异步 yield在python中初学时,觉得比较难理解。yield的作用:  ①返回一个值、②接收调用者的参数 分析下面的代码: #!/usr/bin/env python3 # -*- coding:utf-8 -*- def consumer(): r = ...

2018-08-08 14:22:30 1278 1

原创 Python3 --- Tornado之用户验证装饰器

authenticated装饰器 为了使用Tornado的认证功能,我们需要对登录用户标记具体的处理函数。我们可以使用@tornado.web.authenticated装饰器完成它。当我们使用这个装饰器包裹一个处理方法时,Tornado将确保这个方法的主体只有在合法的用户被发现时才会调用。 ...

2018-08-08 14:22:24 738 0

原创 Python3 --- Tornado之Cookie

 一、设置cookie: set_cookie(name, value, domain=None, expires=None, path='/', expires_days=None) 参数说明: name:cookie名 value:cookie值 domain:提...

2018-08-08 14:22:15 536 0

原创 Python3 --- Tornado之模板

目录 一、模板渲染 二、模板语法 2.1、变量输出 2.2、表达式输出 2.3、注释一个部分,防止他被输出 2.4、模板替换 2.5、模板继承 2.6、for循环 2.7、from引入包 2.8、import引入包 2.9、if分支 2.10、引入模板文件 2.11、渲染...

2018-07-26 16:51:07 355 0

转载 前后端分离的优缺点

WEB 前后端分离三个最大的优点在于:1:最大的好处就是前端JS可以做很大部分的数据处理工作,对服务器的压力减小到最小2:后台错误不会直接反映到前台,错误接秒较为友好3:由于后台是很难去探知前台页面的分布情况,而这又是JS的强项,而JS又是无法独立和服务器进行通讯的。所以单单用后台去控制整体页面,...

2018-07-26 16:50:55 29480 4

原创 Python3 --- Tornado之静态资源

一、通过static_path实现 import tornado.web import tornado.ioloop import tornado.httpserver import os from tornado.options import define, options define...

2018-07-26 16:50:47 1001 0

原创 Python3 --- Tornado之Response

一、返回Json数据 import tornado.web import tornado.ioloop import tornado.httpserver import tornado.options # 新导入的options模块 class IndexHandler(tornado.we...

2018-07-25 13:44:21 1705 0

原创 Python3 --- Tornado之Request

一、Tornado的Request对象属性 属性 说明 self.request.method http的请求头;get, post等 self.reuqest.uri 客户端请求完整的uri self.request.path uri的路径名,不包含查询的字...

2018-07-23 16:17:17 3446 0

原创 Python3 --- Tornado之Tornado.web.Application的settings参数

Tornado.web.Application的settings参数 传递给构造器的附加关键字参数保存在 settings 字典中, 并经常在文档中被称为”application settings”. Settings被用于 自定义Tornado的很多方面(虽然在一些情况下, 更丰富的定制可能 ...

2018-07-23 16:17:10 4683 0

原创 Python3 --- Tornado之Options模块

tornado为我们提供了一个便捷的工具,tornado.options模块——全局参数定义、存储、转换。   tornado.options.define() 用来定义options选项变量的方法,定义的变量可以在全局的tornado.options.options中获取使用,传入参数: ...

2018-07-23 16:16:55 1626 0

原创 Python3 --- Tornado简介

一、Tornado简介 Tornado全称Tornado Web Server,是一个用Python语言写成的Web服务器兼Web应用框架,由FriendFeed公司在自己的网站FriendFeed中使用,被Facebook收购以后框架在2009年9月以开源软件形式开放给大众。   特点: ...

2018-07-23 16:16:43 2309 0

提示
确定要删除当前文章?
取消 删除