关闭

利用SVD(Singular Value Decomposition)简化数据

参考:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html 利用SVD(Singular Value Decomposition)简化数据 奇异值分解(Singular value decomposition)奇异值分解是线性代数中一种重要的矩阵分解,在信号处理、统计学等领域有重要应用。奇异...
阅读(65) 评论(0)

【Tensorflow】Windows下基于Anaconda的Tensorflow环境配置

转载:http://blog.csdn.net/ztf312/article/details/56018891 详细步骤见TensorFlow 安装教程 1. Anaconda下载安装:https://www.continuum.io/downloads 版本为:Anaconda3,for windows,64bit(tensorflow在windows下只支持python 3.5以上、amd...
阅读(90) 评论(0)

Python入门深度学习完整指南

Python入门深度学习完整指南 介绍深度学习目前已经成为了人工智能领域的突出话题。它在“计算机视觉”和游戏(AlphaGo)等领域的突出表现而闻名,甚至超越了人类的能力。近几年对深度学习的关注度也在不断上升,这里有一个调查结果可以参考。这里有一个 Google 的搜索趋势图:如果你对这个话题感兴趣,这里有一个很好的非技术性的介绍。如果你有兴趣了解最近的趋势,那么这里有一个很好的汇总。在这篇文章中...
阅读(66) 评论(0)

python 操作MongoDB

在本章中,我们将给出几个使用数据库的Tornado Web应用的例子。我们将从一个简单的RESTful API例子起步,然后创建3.1.2节中的Burt’s Book网站的完整功能版本。 本章中的例子使用MongoDB作为数据库,并通过pymongo作为驱动来连接MongoDB。当然,还有很多数据库系统可以用在Web应用中:Redis、CouchDB和MySQL都是一些知名的选择,并且Tornad...
阅读(213) 评论(0)

python tornado 模板扩展

在第二章中,我们看到了Tornado模板系统如何简单地传递信息给网页,使你在插入动态数据时保持网页标记的整洁。然而,大多数站点希望复用像header、footer和布局网格这样的内容。在这一章中,我们将看到如何使用扩展Tornado模板或UI模块完成这一工作。 3.1 块和替换¶ 当你花时间为你的Web应用建立和制定模板时,希望像你的后端Python代码一样重用你的前端代码似乎只是合逻辑的,不是吗?...
阅读(121) 评论(0)

python tornade 模板扩展

在第二章中,我们看到了Tornado模板系统如何简单地传递信息给网页,使你在插入动态数据时保持网页标记的整洁。然而,大多数站点希望复用像header、footer和布局网格这样的内容。在这一章中,我们将看到如何使用扩展Tornado模板或UI模块完成这一工作。 3.1 块和替换 当你花时间为你的Web应用建立和制定模板时,希望像你的后端Python代码一样重用你的前端代码似乎只是合逻辑的,不是...
阅读(48) 评论(0)

python tornade 表单和模板

在第一章中,我们学习了使用Tornado创建一个Web应用的基础知识。包括处理函数、HTTP方法以及Tornado框架的总体结构。在这章中,我们将学习一些你在创建Web应用时经常会用到的更强大的功能。 和大多数Web框架一样,Tornado的一个重要目标就是帮助你更快地编写程序,尽可能整洁地复用更多的代码。尽管Tornado足够灵活,可以使用几乎所有Python支持的模板语言,Tornado自身也...
阅读(190) 评论(0)

python基于tornade的高并发接口编程实战学习

第一章:引言 在过去的五年里,Web开发人员的可用工具实现了跨越式地增长。当技术专家不断推动极限,使Web应用无处不在时,我们也不得不升级我们的工具、创建框架以保证构建更好的应用。我们希望能够使用新的工具,方便我们写出更加整洁、可维护的代码,使部署到世界各地的用户时拥有高效的可扩展性。 这就让我们谈论到Tornado,一个编写易创建、扩展和部署的强力Web应用的梦幻选择。我们三个都因为Torna...
阅读(235) 评论(0)

ubuntu下python+tornado+supervisor+nginx部署

由于之前在医院采集的数据都是拍照得到的处方图片,而需要用到的是处方的文本形式。因此这两个星期写了个小程序把服务器的图片显示给用户(到时候雇一些人),让用户根据图片录入文字信息。 之前都是用java写web,想到自己最近学机器学习要用python,所以用python来写一下,此外,因为想用点新东西,也介于程序比较小,所以考虑用mongodb来存储(没有必要,只是为了接触一下)。 基本架构是这样:(...
阅读(63) 评论(0)

Python,PyCharm2017安装教程,包含注册码

一,安装PyCharm1.下载PyCharm进入https://www.jetbrains.com/pycharm/download/#section=windows官网下载页面,可以到到PyCharm有两个版本,一个专业版,一个自由版本; 这里写图片描述建议下载专业版本,点击download按钮下载professional版本, 注册码的事情后面搞定。2.安装,注册码激活正常安装,需要输入ac...
阅读(234) 评论(0)

spark 数据倾斜调优

一:均衡数据是我们的目标,或者说我们要解决数据倾斜的发力点。一般说shuffle是产生数据倾斜的主要原因,为什么shuffle产生数据倾斜主要是因为网络通信,如果计算之前通过ETL(ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)作为BI/DW(Business Intelligence)的核心和灵魂,能够按照统一的规则集成并提高数据的价值,是负责完成数据从...
阅读(75) 评论(0)

elasticsearch知识点总结

1:es介绍 Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。基于RESTful接口。普通请求是…get?a=1 rest请求….get/a/1 2:全文搜索的工具有哪些 Lucene Solr Elasticsearch 3:es的bul...
阅读(58) 评论(0)

Kafka+Spark Streaming+Redis实时系统实践

基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像SparkStreaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里,我们基于1.3.0版本的Spark搭建了计算平台,实现基于Spark Streaming的实时计算。   我...
阅读(58) 评论(0)

kafka->spark->streaming->mysql(scala)实时数据处理案列

kafka->spark->streaming->mysql(scala)实时数据处理示例开发环境 windows10 64、eclipse、spark-1.6、scala 2.0.4、java1.8、maven3.05 将spark中的assembly包引入即可使用local模式运行相关的scala任务,注意不要使用scala2.11,非要使用的话先用这个版本的scala编译一遍spark哈...
阅读(84) 评论(0)

spark读取kafka数据 createStream和createDirectStream的区别

spark读取kafka数据 createStream和createDirectStream的区别 1、KafkaUtils.createDstream 构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据,利用的是Kafka高层次的消费...
阅读(62) 评论(0)

Spark的Shuffle过程介绍

Spark的Shuffle过程介绍 Shuffle Writer Spark丰富了任务类型,有些任务之间数据流转不需要通过Shuffle,但是有些任务之间还是需要通过Shuffle来传递数据,比如wide dependency的group by key。 Spark中需要Shuffle输出的Map任务会为每个Reduce创建对应的bucket,Map产生的结果会根据设置的partitioner...
阅读(62) 评论(0)

Java架构师,大数据架构师,高并发设计模式,机器学习知识点分享

第一章:java精品课程目录大全 1、亿级流量电商详情页系统的大型高并发与高可用缓存架构实战 1课程介绍以及高并发高可用复杂系统中的缓存架构有哪些东西?32分钟 2基于大型电商网站中的商品详情页系统贯穿的授课思路介绍7分钟 3小型电商网站的商品详情页的页面静态化架构以及其缺陷11分钟...
阅读(1016) 评论(1)

机器学习ML策略

机器学习ML策略 1、为什么是ML策略 例如:识别cat分类器的识别率是90%,怎么进一步提高识别率呢? 想法: (1)收集更多数据 (2)收集更多的多样性训练样本 (3)使用梯度下降训练更长时间 (4)尝试Adam代替梯度下降 (5)尝试更大的网络 (6)尝试更小的网络 (7)尝试dropout (8)尝试L2正则化 (9)修改网络架构(激励函数,隐含层单元数目)2、正交化...
阅读(76) 评论(0)

尝试Adam代替梯度下降

我们介绍Adam,这是一种基于一阶梯度来优化随机目标函数的算法。简介: Adam 这个名字来源于 adaptive moment estimation,自适应矩估计。概率论中矩的含义是:如果一个随机变量 X 服从某个分布,X 的一阶矩是 E(X),也就是样本平均值,X 的二阶矩就是 E(X^2),也就是样本平方的平均值。Adam 算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计动态调整针对...
阅读(153) 评论(0)

编写Spark SQL查询程序

首先在maven项目的pom.xml中添加Spark SQL的依赖 org.apache.spark spark-sql_2.10 1.5.2 通过反射推断Schema val sc:SparkContext //定义一个SparkContext类型的常量sc,SparkContext是Spark中提交作业的唯一通道 val sqlContext = new Sq...
阅读(57) 评论(0)
99条 共5页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:24627次
    • 积分:780
    • 等级:
    • 排名:千里之外
    • 原创:46篇
    • 转载:52篇
    • 译文:1篇
    • 评论:1条