木东的博客

转载 (%%%××××××××####重要)python安装pyspark步骤&&************

1) downloads spark-x.x.x-bin-hadoopx.x.tgz from offical websiteand untgz to your path :such as D:\google_downloads\spark-2.0.0-bin-hadoop2.7here we call \Path_spark for short2.1) install

转载 执行Scala命令行工具

1.2.2 　执行Scala命令行工具如果你单独安装了Scala 命令行工具，会发现与Java 编译器javac 相似，Scala 编译器叫作scalac。我们会使用SBT 执行编译工作，而不会直接使用scalac。不过如果你曾运行过javac 命令，会发现scalac 语法也很直接。在命令行窗口中运行-version 命令，便可查看到当前运行的scalac 版本以及命令行参数帮助信息。与

转载 Ubuntu上搭建hadoop和spark集群

在Ubuntu上搭建hadoop和spark集群，1台master(namenode)，3台slave(datanode)1. 安装Java 1 2sudo mkdir /usr/local/java/sudo tar xvf jdk-7u79-linux-x64.tgz -C /usr/local/java/

转载 蚁群算法、遗传算法、模拟退火算法介绍

蚁群算法、遗传算法、模拟退火算法介绍穷举法列举所有可能,然后一个个去,得到最优的结果。如图一，需要从A点一直走到G点，才能知道，F是最高的（最优解）。这种算法得到的最优解肯定是最好的，但也是效率最低的。 穷举法虽然能得到最好的最优解，但效率是极其低下的。为了能提高效率，可以不要枚举所有的结果，只枚举结果集中的一部分，如果某个解在这部分解中是最

转载 IDEA Spark-submit提交任务到集群

1 IDEA 打包示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。首先需要将程序打包成jar选择project structure --》artifacts ，由于集群已经有了运行依赖的jar包，打包时可以将这些jar包排除出去，以减小打包后的jar包的大小。点击ok，然后选择build --》bu

转载 Spark 使用Python在pyspark中运行简单wordcount

0.参考文章Spark入门（Python版） Spark1.0.0 多语言编程之python实现 Spark编程指南（python版）1.pyspark练习进入到Spark目录，1.1 修改log4j.propertiesSpark（和PySpark）的执行可以特别详细，很多INFO日志消息都会打印到屏幕。开发过程中，这些非常恼人，因为可能丢失Pyt

转载 基于Spark自动扩展scikit-learn (spark-sklearn)

1、基于Spark自动扩展scikit-learn(spark-sklearn)1.1 导论Spark MLlib 将传统的单机机器学习算法改造成分布式机器学习算法，比如在梯度下降算法中，单机做法是计算所有样本的梯度值，单机算法是以全体样本为计算单位；而分布式算法的逻辑是以每个样本为单位，在集群上分布式的计算每个样本的梯度值，然后再对每个样本的梯度进行聚合操作等。在Spark

转载 谁动了我的特征？——sklearn特征转换行为全记录

目录1 为什么要记录特征转换行为？2 有哪些特征转换的方式？3 特征转换的组合4 sklearn源码分析　　4.1 一对一映射　　4.2 一对多映射　　4.3 多对多映射5 实践6 总结7 参考资料1 为什么要记录特征转换行为？　　使用机器学习算法和模型进行数据挖掘，有时难免事与愿违：我们依仗对业务的理解，对数据的分析，以及工作经验提

转载 特征选择--scikit-learn

特征选择（Feature Selection）:choosing a subset of all the features(the ones more informative)。最终得到的特征选是原来特征的一个子集。特征选取是机器学习领域非常重要的一个方向。 主要有两个功能：（1）减少特征数量、降维，使模型泛化能力更强，减少过拟合（2）增强特征和特征值之间的理解

转载 矩阵特征值分解与奇异值分解含义解析及应用

特征值与特征向量的几何意义矩阵的乘法是什么，别只告诉我只是“前一个矩阵的行乘以后一个矩阵的列”，还会一点的可能还会说“前一个矩阵的列数等于后一个矩阵的行数才能相乘”，然而，这里却会和你说——那都是表象。矩阵乘法真正的含义是变换，我们学《线性代数》一开始就学行变换列变换，那才是线代的核心——别会了点猫腻就忘了本——对，矩阵乘法 就是线性变换，若以其中一个向量A为中心，则B的作用主要是

转载 matplotlib使用scatter画简单的散点图

利用matplotlib画简单的直线图和散点图import matplotlib.pyplot as pltfrom numpy import *x = [1, 2, 1, 3, 2, 3]y = [3, 3, 2, 2, 1, 1]x2 = arange(0, 4.0, 0.1)y2 = x2plt.scatter(x, y)plt.plot(x2, y2)plt.show(

转载 十分钟搞定pandas

本文是对pandas官方网站上《10Minutes to pandas》的一个简单的翻译，原文在这里。这篇文章是对pandas的一个简单的介绍，详细的介绍请参考：Cookbook 。习惯上，我们会按下面格式引入所需要的包：一、           创建对象可以通过Data Structure Intro Setion 来查看有关该节内容的详细信息。1、可以通过传递一个list对

转载 （×××###）python 迭代器 生成器(######×××××××)

1. 迭代器      迭代器是访问集合元素的一种方式。迭代器对象从集合的第一个元素开始访问，知道所有的元素被访问完结束。迭代器只能往前不会后退，不过这也没什么，因为人们很少在迭代途中往后退。1.1 使用迭代器的优点      对于原生支持随机访问的数据结构（如tuple、list），迭代器和经典for循环的索引访问相比并无优势，反而丢失了索引值（可以使用内建函数enumerate()

转载 ×××××#######Keras/Python深度学习中的网格搜索超参数调优（附源码）(译文)+++++++

超参数优化是深度学习中的重要组成部分。其原因在于，神经网络是公认的难以配置，而又有很多参数需要设置。最重要的是，个别模型的训练非常缓慢。在这篇文章中，你会了解到如何使用scikit-learn python机器学习库中的网格搜索功能调整Keras深度学习模型中的超参数。阅读本文后，你就会了解：如何包装Keras模型以便在scikit-learn中使用，以及如何使用网格搜索。如何网格

转载 使用keras模型和sklearn库做机器学习任务

keras是python中比较流行的深度学习库，但是keras本身关注的是深度学习。而python中的scikit-learn库是建立在Scipy上的，有着比较有效的数值计算能力。sklearn是一个具有全特征的通用性的机器学习库，它提供了很多在深度学习中可以用到的工具。举个例子：1.可以用sklearn中的k-fold交叉验证方法来对模型进行评估2.模型参数的估计和寻找Keras提供

转载 DeepMind背后的人工智能：深度学习原理初探

去年11月，一篇名为《Playing Atari with Deep Reinforcement Learning》的文章被初创人工智能公司DeepMind的员工上传到了arXiv网站。两个月之后，谷歌花了500万欧元买下了DeepMind公司，而人们对这个公司的了解仅限于这篇文章。近日，Tartu大学计算机科学系计算神经学小组的学者在robohub网站发表文章，阐述了他们对DeepMind人工智

转载 深度学习关键一点 特征的自动提取

深度学习与传统模式识别方法的最大不同在于它是从大数据中自动学习特征，而非采用手工设计的特征。好的特征可以极大提高模式识别系统的性能。在过去几十年模式识别的各种应用中，手工设计的特征处于同统治地位。它主要依靠设计者的先验知识，很难利用大数据的优势。由于依赖手工调参数，特征的设计中只允许出现少量的参数。深度学习可以从大数据中自动学习特征的表示，其中可以包含成千上万的参数。手工设计出有效的特征是一个相当

转载 MXNet设计笔记之：深度学习的编程模式比较

【编者按】继xgboost,cxxnet,minerva之后，DMLC在9月29日发布了新的Project:dmlc/MXNet，MXNet是cxxnet的进化，在设计上经过成熟的思考，文档也很清楚。尤为难得的是，MXNet开发团队把设计笔记也做了分享。笔记的思想不局限于MXNet，也不局限于深度学习，无论对深度学习初学入门还是对高阶提升，都具有很好的参考价值。本文是第一篇设计笔记的译文，深入

转载 python绘图：matplotlib和pandas的应用

在进行数据分析时，绘图是必不可少的模式探索方式。用Python进行数据分析时，matplotlib和pandas是最常用到的两个库。1、matplotlib库的应用准备工作如下：打开ipython，输入命令分别导入numpy和matplotlib.pylab库。[python] view plain copy import numpy as np  im

转载 （￥######非常全好）十分钟搞定pandas（#########非常全好）

本文是对pandas官方网站上《10Minutes to pandas》的一个简单的翻译，原文在这里。这篇文章是对pandas的一个简单的介绍，详细的介绍请参考：Cookbook 。习惯上，我们会按下面格式引入所需要的包：一、           创建对象可以通过Data Structure Intro Setion 来查看有关该节内容的详细信息。1、可以通过传递一个list对

转载 Scala 基础入门教程

1.前言最近在参加Hadoop和Spark培训，需要使用Scala，自学了一下作为入门，这里作一个记录。2.下载1) 在scala官网下载，地址: http://www.scala-lang.org/2) 下载IDE，地址: http://scala-ide.org/3）配置环境变量SCALA_HOME:C:\Program Files (x86)\scalaPat

转载 【TensorFlow】学习率、迭代次数和初始化方式对准确率的影响

想必学过机器学习的人都知道，学习率、训练迭代次数和模型参数的初始化方式都对模型最后的准确率有一定的影响，那么影响到底有多大呢？我初步做了个实验，在 TensorFlow 框架下使用 Logistics Regression 对经典的 MNIST 数据集进行分类。本文所说的 准确率 均指 测试准确率。代码from tensorflow.examples.tutorials.m

转载 #########TensorBoard——Tensor与Graph可视化####(如何使用参考上一篇介绍)#######

前言本文基于TensorFlow官网How-Tos的Visualizing Learning和Graph Visualization写成。TensorBoard是TensorFlow自带的一个可视化工具。本文在学习笔记（4）的基础上修改少量代码，以探索TensorBoard的使用方法。代码# -*- coding=utf-8 -*-# @author: 陈水平# @date:

转载 从0开始--可视化调试工具tensorboard

TensorBoardTensorBoard的官网教程如下： https://www.tensorflow.org/versions/r0.7/how_tos/summaries_and_tensorboard/index.html简单解释下：TensorBoard是个可视化工具，可以用来查看TensorFlow的图以及过程中的各种值和图像等。 1. 在tensorflow程序中给

原创 softmax非常形象的示意图

转载 (尤其是训练集验证集的生成)深度学习 tensorflow 实战(2) 实现简单神经网络以及随机梯度下降算法S.G.D

在之前的实战(1) 中，我们将数据清洗整理后，得到了'notMNIST.pickle'数据。本文将阐述利用tensorflow创建一个简单的神经网络以及随机梯度下降算法。[java] view plain copy print?# These are all the modules we'll be using later. Make sure yo

转载 （#########优化器函数########）TensorFlow实现与优化深度神经网络

反正是要学一些API的，不如直接从例子里面学习怎么使用API，这样同时可以复习一下一些基本的机器学习知识。但是一开始开始和以前一样，先直接讲类和常用函数用法，然后举例子。这里主要是各种优化器，以及使用。因为大多数机器学习任务就是最小化损失，在损失定义的情况下，后面的工作就交给优化器啦 https://www.tensorflow.org/versions/r0.11/api_docs/

转载 ######（较深的应用）TensorFlow学习（三）：Graph和Session ######（较深的应用）

之前讲完变量常量等等基本量的操作，意味着最基本的东西都有了，然后接下来很重要的就是那些量和操作怎么组成更大的集合，怎么运行这个集合。这些就是计算图谱graph和Session的作用了。IV.Graphhttps://www.tensorflow.org/versions/r0.11/api_docs/python/framework.html#Graph一个TensorFlow的运

原创 What is the TensorFlow checkpoint meta file?

When saving a checkpoint, TensorFlow often saves a meta file: my_model.ckpt.meta. What is in that file, can we still restore a model even if we delete it and what kind of info did we lose if we restor

转载 #######TensorFlow深度学习，一篇文章就够了#########

作者: 陈迪豪，就职小米科技，深度学习工程师，TensorFlow代码提交者。TensorFlow深度学习框架Google不仅是大数据和云计算的领导者，在机器学习和深度学习上也有很好的实践和积累，在2015年年底开源了内部使用的深度学习框架TensorFlow。与Caffe、Theano、Torch、MXNet等框架相比，TensorFlow在Github上Fork数和Star数都

转载 常用的Mysql数据库操作语句大全

零、用户管理：　　1、新建用户：　　　　>CREATE USER name IDENTIFIED BY 'ssapdrow';　　2、更改密码：　　　　>SET PASSWORD FOR name=PASSWORD('fdddfd');　　3、权限管理　　　　>SHOW GRANTS FOR name;    //查看name用户权限　　　　>GRANT SELECT

转载 (###################基础用法)python使用mysql数据库(######################)

一，安装mysql 如果是windows 用户，mysql 的安装非常简单，直接下载安装文件，双击安装文件一步一步进行操作即可。Linux 下的安装可能会更加简单，除了下载安装包进行安装外，一般的linux 仓库中都会有mysql ，我们只需要通过一个命令就可以下载安装：Ubuntu\deepin>>sudo apt-get install mysql-server >>S

转载 python 将 csv（中文） 导入mysql 数据库的简单代码

昨天老师让我在服务器上尝试安装一下PHP写的简单脚本：把csv导入MySQL数据库，链接如下：http://hawkee.com/snippet/8320/ 使用php写的，源码我就不贴上来了，写的比较简单，先是读取了csv的第一行，根据这个创建了表格，然后再利用sql自带的语句 “load data infile....”将剩下的数据读入到这个表格中。但是刚好服务器的后台comman

转载 如何使用Keras进行分布式/多GPU运算？

如何使用Keras进行分布式/多GPU运算？Keras在使用TensorFlow作为后端的时候可以进行分布式/多GPU的运算，Keras对多GPU和分布式的支持是通过TF完成的。with tf.device('/gpu:0'): x = tf.placeholder(tf.float32, shape=(None, 20, 64)) y = LSTM(32)(x) #