陈杰

原创 ubuntu 安裝mysql

apt-get install mysql-serverapt-get install mysql-clientapt-get install libmysqlclient-devuse below command to see whether it is successful:netstat -tap | grep mysql

原创 Scala学习 2 Scala面向对象

object Scala_study3 { def main(args: Array[String]): Unit = { /* * 2.1 Scala面对对象详解 * * 2.1.1 Scala中class和object初介紹 * scala中class的定义与java类似,区别是在Scala中,类名不是必须和文件名相同,且一个文件中可以定义多个cl

原创 Scala学习1.2 Scala中Array Map等数据结构实战

object Scala_study2 { def main(args: Array[String]): Unit = { /* 1.2.1 定长数组和可变数组 scala中数组分为定长数组和可变数组.默认情况下是不可变(Immutable)数组; 若要定义可变数组,需要显式导入包 */ val arrStr = Array("Scal

原创 Scala学习 1.1 Scala基础与语法入门实战

1.1.1 Scala基本数据类型Scala包括8种常用基本数据类型：Byte Char Short Int Long Float Double Boolean  1.1.2 Scala变量声明val 型变量定义后不可以重新赋值,相当于Java中final修饰的变量var型变量定义后可以重新赋值1.1.3 算术操作符算术运算符:+ - * / %关系运算符:==  

原创 Spark 集群搭建从零开始之3 Spark Standalone集群安装、配置与测试

1、进入pc1的Spark的conf目录，创建或者修改spark-env.shexport JAVA_HOME=/usr/lib/jvm/java-8-oracleexport SCALA_HOME=/chenjie/scala-2.10.4export HADOOP_HOME=/chenjie/hadoop-2.6.5export HADOOP_CONF_DIR=/chenjie

原创 Spark 集群搭建从零开始之2 Spark单机伪分布式安装与配置

1、下载并解压spark-1.6.0-bin-hadoop2.6.tgz2、增加环境变量exprot SPARK_HOME=/chenjie/spark-1.6.0-bin-hadoop2.6export PATH=${SPARK_HOME}/bin:${SPARK_HOME}/sbin:$PATH3、使用scp /chenjie/spark-1.6.0-bin-hadoop2.6

原创 Spark 集群搭建从零开始之1 Scala的安装与配置

1、Scala下载地址，要下什么版本更改连接中的版本号即可http://www.scala-lang.org/download/2.10.4.html2、解压3、vim /etc/profile加入export SCALA_HOME=/chenjie/scala-2.10.4export PATH=${SCALA_HOME}/bin:$PATH4

原创 Hadoop 2.6 集群搭建从零开始之4 Hadoop的安装与配置(完全分布式环境)

1、在VMware重将伪分布式的pc1虚拟机拷贝2个pc2 pc32、启动pc23、使用vim /etc/hostname命令进入修改主机名为pc2，保存退出4.重启pc2，此时主机名生效为pc25、启动pc36、使用vim /etc/hostname命令进入修改主机名为pc3，保存退出7.重启pc3，此时主机名生效为pc38.对pc1 pc2

原创 Hadoop 2.6 集群搭建从零开始之3 Hadoop的安装与配置(伪分布式环境)

Hadoop的下载官网为http://hadoop.apache.org/releases.html1.使用wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz命令下载hadoop 2.6.5例如我这里下载到了/chenjie下2.使用 tar -zxvf hadoop-2....

原创 Hadoop 2.6 集群搭建从零开始之2 JDK1.8安装

使用ppa/源方式安装1.添加ppasudo add-apt-repository ppa:webupd8team/javasudo apt-get update2.2.安装oracle-java-installer    sudo apt-get install oracle-java8-installersudo update-java-alternatives -s java-8-ora...

原创 Hadoop 2.6 集群搭建从零开始之1 Ubuntu虚拟机搭建

本文介绍在windows系统上WMware虚拟机软件上搭建基于Ubuntu系统的Hadoop 2.8 集群 ，后期会在此基础上搭建Spark集群。一、安装VMware-workstation-full-10.0.4-2249910.exe虚拟机软件，一路Next二、下载Ubuntu 操作系统下载地址:http://www.ubuntu.org.cn/download/deskt

原创 使用Echarts和Ajax动态加载数据进行大数据可视化

在前面的帖子【Java/Web调用Hadoop进行MapReduce示例】中，我们实现了JavaWeb调用Hadoop统计用户上传的文本文件中的单词出现的次数。效果如下：现在我们使用Echarts进行数据可视化，达到如下目的：二、服务器端的改动相比之前，服务器端改用json返回数据，将排过序的map返回，key为单词，value为该单词出现的次数。@Re

原创 神经网络与深度学习 第二章 反向传播算法(两个假设、四个基本方程及其证明、代码及注释)

2.1 热身：神经网络中使用矩阵快速计算输出的方法2.2 关于代价函数的两个假设2.3 Hadamard乘积 s⊙t2.4 反向传播的四个基本方程2.5 四个基本方程的证明2.6 反向传播算法2.7 代码2.8 在哪种层面上，反向传播是快速的算法？2.9 反向传播：全局观2.7 代码：

原创 神经网络与深度学习 使用Python实现基于梯度下降算法的神经网络和自制仿MNIST数据集的手写数字分类可视化程序 web版本

本文描述并实现了一个可视化的基于Python平台和梯度下降算法的神经网络的手写数字识别程序。采用web服务，用户在前台页面的手写板中输入手写数字，并可以输入神经网络进行学习，同时还能进行预测。较好的解决了MNIST数据库以及传统手写数字识别程序过于抽象的问题。但如效果图所示，准备度还大大有待提高，这也是今后努力的方向。

原创 神经网络与深度学习 自制MNIST测试数据供神经网络测试

一、利用windows自带画图工具画布大小为28*28，用刷子工具，颜色为黑色，写字并保存。二、python代码将其转为灰度图from PIL import Imageimport numpy as npclass Data2: def getTestPicArray(self,filename): im = Image.open(

原创 神经网络与深度学习 1.6 使用Python实现基于梯度下降算法的神经网络和MNIST数据集的手写数字分类程序

import mnist_loadertraining_data, validation_data, test_data = mnist_loader.load_data_wrapper()training_data = list(training_data)# ---------------------# - network.py example:iimport network

原创 神经网络与深度学习 1.5 使用梯度下降算法进行学习

代价函数、梯度下降算法、学习速率、随机梯度下降算法

原创 神经网络与深度学习 1.3 神经网络的架构 1.4 一个简单的分类手写数字的网络架构

神经网络与深度学习 1.3 神经网络的架构 1.4 一个简单的分类手写数字的网络架构

原创 神经网络与深度学习 1.2 S型神经元

神经网络与深度学习 1.2 S型神经元

原创 神经网络与深度学习 1.1 感知器

原创 windows下pip install安装第三方库速度慢问题的解决

在C:\Users\Administrator\pip文件下找到pip.ini文件（没有则新建一个文本文档，改后缀为.ini，并用记事本打开）。复制以下内容[list]format=columns[global] index-url = http://pypi.douban.com/simple trusted-host = pypi.douban.com disable-

原创 Python matplotlib

关键词：绘图库官网: matplotlib.org安装:pip install matplotlib一、一个散点图的绘制#encoding=utf-8import numpy as npimport matplotlib.pyplot as pltdef Main(): x = np.linspace(-np.pi,np.pi,256,end

原创 Python numpy(ndarray 随机数组 常用操作 线性方程组和矩阵运算)

关键词：开源 数据计算扩展功能：ndarry 多维操作 线性代数官网:www.numpy.org安装：pip install numpy1、ndarrayimport numpy as npdef main(): list = [[1,3,5],[2,4,6]] print(type(list)) n_list =

原创 Python pip 提示DEPRECATION

在C:\Users\Administrator下建立pip文件夹，在pip下新建pip.ini：内容为:[list]format=columns

原创 linux下常见开发环境配置

一、JDK的配置sudo apt-get install oracle-java8-installer安装jdkjava -version检查是否安装成功二、Python的安装使用apt-get install python3.6安装python使用python3.6进入编程环境安装Pip以使用pip install安装第三方库$ wget https:

原创 Python 爬虫（以赛马数据为例）之使用BeautifulSoup进行Html解析

一、BeautifulSoup的使用find()方法和find_all()方法：find()方法查找第一个符合条件的，find_all()方法所有符合条件的，find()的结果相当于find_all()[0]。例如，查找所有的标签：tds = soup.find_all("td")查找第十个标签: tds[9]连续查找:find()和find_all()可以连续使用：table

原创 Python 操作MySql数据库

一、Python DBAPI（类比JDBC）Python访问数据库的统一接口规范。包括数据库连接对象connection，好比高速公路.数据库交互对象cursor，好比火车数据库异常类exceptions，好比事故 使用Python DB API访问数据库的流程：开始à创建connectionà获取cursorà执行查询/执行命令/获取数据/处理数据à关闭curso

原创 Python str repr len 数学运算符 类型转换 @property __slots__ __call__

一、特殊方法用于print的__str__方法，类似于Java中的toString()特殊方法定义在class中二、python中 __str__和__repr__如果要把一个类的实例变成 str，就需要实现特殊方法__str__()：class Person(object):   def __init__(self, name, gender): 

原创 Python 继承、多重继承、多态、isinstance判断类型、type()获取变量类型、dir()获取变量的所有属性

什么是继承二、python中继承一个类如果已经定义了Person类，需要定义新的Student和Teacher类时，可以直接从Person类继承：class Person(object):   def __init__(self, name, gender):       self.name = name       self.gender = gend

原创 Python 面向对象编程基础（定义类并创建实例、创建实例属性、初始化实例属性、访问限制、类属性、属性名冲突、实例方法、类方法）

一、       Python面向对象编程二、       python之定义类并创建实例三、 在Python中，类通过 class 关键字定义。以 Person 为例，定义一个Person类如下：四、 class Person(object):五、     pass六、 按照 Python 的编程习惯，类名以大写字母开头，紧接着是(object)，表示该类是从哪个

原创 Python 模块和包，使用自定义的模块和包

一、模块和包的概念 代码越来越多的时候，将所有代码放入一个py文件：无法维护如果将代码分拆放入多个py文件，好处：同一个名字的变量互不影响引用其它模块：Import mathPrint math.pow(2,10)模块多了以后，也容易重名。把同名模块放入不同包中。Import p1.utilPrint p1.util.f(2,10)在文件系统中，包就

原创 Python 函数式编程（高阶函数、把函数作为参数、map()函数、reduce()函数、filter()函数、自定义排序函数、函数返回函数、闭包、匿名函数、装饰器decorator）

一、函数式编程什么是函数式编程？函数：function函数式:functional函数不等于函数式，好比计算不等于计算机 函数式编程的特点：把计算视为函数而非指令纯函数式编程：不需要变量，没有副作用，测试简单支持高阶函数，代码简洁 Python支持的函数式编程不是纯函数式编程：允许有变量支持高阶函数，函数也可以作为变量传入支持闭包：有了闭包就

原创 Python 列表生成式

生成列表要生成list [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]，我们可以用range(1,11)：>>> range(1, 11)[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]但如果要生成[1x1, 2x2, 3x3, ..., 10x10]怎么做？方法一是循环：>>> L = []>>> for x in range

原创 Python 迭代

什么是迭代在Python中，如果给定一个list或tuple，我们可以通过for循环来遍历这个list或tuple，这种遍历我们成为迭代（Iteration）。在Python中，迭代是通过 for ... in 来完成的，而很多语言比如C或者Java，迭代list是通过下标完成的，比如Java代码：for (i=0; i    n= list[i];}可以看出，

原创 Python 切片

对list进行切片取一个list的部分元素是非常常见的操作。比如，一个list如下：>>> L = ['Adam', 'Lisa', 'Bart','Paul']取前3个元素，应该怎么做？笨办法：>>> [L[0], L[1], L[2]]['Adam', 'Lisa', 'Bart']之所以是笨办法是因为扩展一下，取前N个元素就没辙了。取前N个

原创 Python 函数

Python之什么是函数我们知道圆的面积计算公式为：S = πr²当我们知道半径r的值时，就可以根据公式计算出面积。假设我们需要计算3个不同大小的圆的面积：r1 = 12.34r2 = 9.08r3 = 73.1s1 = 3.14 * r1 * r1s2 = 3.14 * r2 * r2s3 = 3.14 * r3 * r3当代码出现有规

原创 Python set

Python中什么是setdict的作用是建立一组 key和一组 value 的映射关系，dict的key是不能重复的。有的时候，我们只想要 dict 的 key，不关心 key 对应的 value，目的就是保证这个集合的元素不会重复，这时，set就派上用场了。set 持有一系列元素，这一点和 list很像，但是set的元素没有重复，而且是无序的，这点和 dict 的 ke

原创 Python dict

Python之什么是dict我们已经知道，list和 tuple 可以用来表示顺序集合，例如，班里同学的名字：['Adam', 'Lisa', 'Bart']或者考试的成绩列表：[95, 85, 59]但是，要根据名字找到对应的成绩，用两个 list表示就不方便。如果把名字和分数关联起来，组

原创 Python 循环

Python之 for循环list或tuple可以表示一个有序集合。如果我们想依次访问一个list中的每一个元素呢？比如 list：L = ['Adam', 'Lisa', 'Bart']print L[0]print L[1]print L[2]如果list只包含几个元素，这样写还行，如果list包含1万

原创 Python 条件判断

Python之if语句计算机之所以能做很多自动化的任务，因为它可以自己做条件判断。比如，输入用户年龄，根据年龄打印不同的内容，在Python程序中，可以用if语句实现：age = 20if age >= 18:   print 'your age is', age   print 'adult'print