自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(178)
  • 资源 (16)
  • 收藏
  • 关注

原创 Kubernetes(k8s)基础之五:yaml文件详解

● 没有相关资源,使用run命令–dry-run选项● 已有相关资源,使用get命令–export选项,ie:, ie:,ie:…## 10. 获取资源配置清单的总结● 没有相关资源,使用run命令--dry-run选项● 已有相关资源,使用get命令--export选项。

2022-10-19 21:30:50 557 1

原创 Sharding-Jdbc实战之四:分库分表

也可以,根据数据冷热程度拆分,20%的热点字段拆到一个表,80%的冷字段拆到另外一个表。insert into t_order(user_id,order_id) values(2,3),user_id%2 = 0使用数据源ds0,order_id%2 = 1使用t_order1,insert语句最终操作的是数据源ds0的t_order1表。对1000w的用户数据进行分库分表,对用户表的数据进行分表和分库的操作。分库分表的目的,是将一个表拆成N个表,就是让每个表的数据量控制在一定范围内,保证SQL的性能。

2022-10-16 18:30:06 6047

原创 Sharding-Jdbc实战之三:读写分离

本文在之前的搭建的mysql主从复制基础环境之上进行简单的项目开发,进一步研究读写分离的原理。2.3 定义配置application.yml2.4 创建t_user表2.5 定义mapper、controller,entityentitymappercontroller 2.6 验证1. 启动日志中三个数据源初始化成功:2:访问 一直进入到ds1主节点3:访问 一直进入到ds2、ds3节点,并且轮询进入 ShardingSphere 的

2022-10-16 10:01:50 989

原创 Sharding-Jdbc实战之二:MySQL主从复制

本文是《Sharding-Jdbc实战》学习过程中的第二篇记录文章,主要介绍MySQL主从复制的大概原理和在docker下搭建mysql主从复制环境的环境,为后文的实战搭建必要环境,下一篇将在实战中体会读写分离。

2022-10-15 11:06:35 1025

原创 Sharding-Jdbc实战之一:概述

本文是《Sharding-Jdbc实战》学习过程中的第一篇记录文章,主要介绍Sharding-Jdbc的框架介绍和基础概念,下一篇开启实战体验。

2022-10-15 10:31:47 666

原创 SpringBoot实战之一swagger

本文简要对swagger进行了介绍,并介绍了如何在springboot项目中集成swagger,swagger是优秀的api文档工具,对于它的其他使用后续在使用中进一步补充。

2022-10-04 18:06:59 476

转载 Java并发编程之一:线程池工作原理

通过上面分析提到,通过Executors这个工具类来创建的线程池其实都无法满足实际的使用场景,那么在实际的项目中,到底该如何构造线程池呢,该如何合理的设置参数?1)线程数线程数的设置主要取决于业务是IO密集型还是CPU密集型。CPU密集型指的是任务主要使用来进行大量的计算,没有什么导致线程阻塞。一般这种场景的线程数设置为CPU核心数+1。IO密集型:当执行任务需要大量的io,比如磁盘io,网络io,可能会存在大量的阻塞,所以在IO密集型任务中使用多线程可以大大地加速任务的处理。

2022-10-04 11:58:26 318

原创 Elasticsearch 实战之三:ES 基本操作

在实战开始之前,为了便于书写和沟通,本文先来约定一下如何在文章中表达请求和响应的信息:1. 假设通过Postman工具或者Kibana向服务器发送一个PUT类型的请求,地址是:http://{IP}:9200/test001/article/1。

2022-10-03 23:05:10 1167

原创 Elasticsearch 实战之二:核心概念

导读:本文是系列 Elasticsearch 实战专栏的第二篇,前一篇文章已经在windows下搭建了单机版的ES6,安装了必要的工具和插件。在正式开始实战之前,本节有必要对ES的相关核心概念尤其是存储方式的概念进行简要的梳理。

2022-10-03 21:43:06 180

原创 Elasticsearch 实战之一:环境搭建

Elasticsearch 是一个开源的搜索引擎,建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库—​无论是开源还是私有。但是 Lucene 仅仅只是一个库。为了充分发挥其功能,你需要使用 Java 并将 Lucene 直接集成到应用程序中。更糟糕的是,您可能需要获得信息检索学位才能了解其工作原理。Lucene 非常 复杂。

2022-10-03 17:37:40 1891

原创 Kubernetes(k8s)基础之四:k8s持久化实战

使用K8S另一个绕不开的话题就是K8S持久化存储。例如: 我们做系统迁移,要把原来的服务迁移到K8S中,系统用的Mysql数据库,也要迁移到K8S。我们知道,K8S运行的是一个一个Pod,K8S对Pod自动化管理,一个Pod挂了,另外一个Pod就会马上拉起来,假如运行Mysql的Pod挂了,马上重新拉起来,那原来Pod中存储的数据还会存在吗?或者说新拉起来的Pod会进行数据恢复吗?答案是:NO!如果没有持久化存储,那兄弟,你真正的做到了从删库到跑路!

2022-10-03 15:39:01 761

原创 Kubernetes(k8s)基础之三:K8s常用命令

一个典型的用例如下: 使用Deployment来创建ReplicaSet。然后,通过更新Deployment的PodTemplateSpec字段来声明Pod的新状态。这会创建一个新的ReplicaSet,Deployment会按照控制的速率将pod从旧的ReplicaSet移动到新的ReplicaSet中。注意: Deployment的rollout当且仅当Deployment的pod template(例如.spec.template)中的label更新或者镜像更改时被触发。

2022-10-03 09:28:21 2065

原创 Kubernetes(k8s)基础之二:容器编排介绍及概念

Kubernetes 包含若干抽象用来表示系统状态,包括:已部署的容器化应用和负载、与它们相关的网络和磁盘资源以及有关集群正在运行的其他操作的信息。这些抽象使用 Kubernetes API 对象来表示。另外,Kubernetes 包含大量的被称作控制器(controllers) 的高级抽象。控制器基于基本对象构建并提供额外的功能和方便使用的特性。

2022-10-03 09:16:08 1112 1

原创 Kubernetes(k8s)基础之一:基础概念及组件介绍

k8s(Kubernetes)作为容器编排生态圈中重要一员,是Google大规模容器管理系统borg的开源版本实现,它提供应用部署、维护、 扩展机制等功能,利用Kubernetes能方便地管理跨机器运行容器化的应用。当前Kubernetes支持GCE、vShpere、CoreOS、OpenShift、Azure等平台,除此之外,也可以直接运行在物理机上。kubernetes是一个开放的容器调度管理平台,不限定任何一种言语,支持java/C++/go/python等各类应用程序。

2022-10-03 08:56:19 1255

原创 Spring Cloud Alibaba实战之二:OpenFeign的使用

Feign是一个声明式WebService客户端,使用Feign能让编写Web Service客户端更简单它的使用方法是定义一个服务接口然后在上面添加注解,Feign也支持可拔插式的编码器和解码器。Spring Cloud对Feign进行了封装,使其支持了Spring MVC标准注解和HttpMessageConverters。Feign可以与Eureka和Ribbon组合使用以支持负载均衡Feign能干什么Feign旨在使编写Java Http客户端变得更容易。

2022-10-02 17:38:43 4064 3

原创 Spring Cloud Alibaba实战之一:项目搭建

传统的单体应用,将所有功能的表示层、业务逻辑层,数据访问层,包括静态资源等等全部糅合在一个工程里面,编译,打包,部署在单台服务器上上线,比如打成war包放在Tomcat的webapp目录中部署项目。这样的项目开发部署适合小型项目,系统功能不复杂,访问量不大的情况下有绝对的优势。开发速度快,运维方便。但是当业务越来越复杂,功能越来越多,参与的开发人员越来越多,就暴露出问题了。比如:业务变复杂,代码量增大,代码可读性,可维护性,可扩展性下降。万一要新同事接手代码,理解起来花很多时间测试难度增大。

2022-10-02 14:53:04 8881 4

原创 Spring Boot自动装配原理

springboot在配置上相比spring要简单许多,其核心在于spring-boot-starter,在使用spring boot来搭建一个项目时,只需要引入官方提供的starter,就可以直接使用,免去了各种配置。starter简单来讲就是引入了一些相关的依赖和一些初始化的配置Spring 官方提供了很多starter,第三方也可以定义starter。为了加以区分,starter从名称上进行了如下规范:

2022-10-01 22:04:18 340

原创 Docker Compose使用教程

Docker Compose是一个用来定义和运行复杂应用的Docker工具。一个使用Docker容器的应用,通常由多个容器组成。使用Docker Compose不再需要使用shell脚本来启动容器。Compose 通过一个配置文件来管理多个Docker容器,在配置文件中,所有的容器通过services来定义,然后使用docker-compose脚本来启动,停止和重启应用,和应用中的服务以及所有依赖服务的容器,非常适合组合使用多个容器进行开发的场景。

2022-09-25 22:05:52 4819

原创 OpenFaaS梳理之三:OpenFaaS API Gateway

本文是《OpenFaaS梳理》系列的第三篇,在前面两节搭建openfaas部署环境并且成功将一个函数发布到openfaas之后,我们就可以通过前端页面进行已经发布函数信息的查看,其中包括已经发布的函数列表以及对单个函数通过Invoke function 以request请求进行测试,类似于postman进行访问。不过身为开发人员当然不止想通过工具进行访问,官方提供了OpenFaaS API Gateway 通过接口进行openfaas对函数从部署(deploy)、触发(invoke)、扩缩容(scale)等

2022-09-21 23:28:36 901

原创 K8s部署SpringBoot项目简单例子

本文通过将一个构建好的springboot的hello-world项目镜像,通过yaml部署的方式将其部署到K8s上。通过回顾部署的具体实现作为springboot项目K8s容器化部署的开始,后续考虑补充多个服务部署过程中出现的一些问题,加深对K8s的理解。

2022-09-11 22:59:57 1311

原创 OpenFaaS梳理之二:函数入门

本文是《OpenFaaS梳理》系列的第二篇,在Kubernetes环境把OpenFaaS在搭建好之后,终于可以开始开发函数了;本篇的主题是熟悉OpenFaaS的函数操作,包括:开发、部署、使用。

2022-09-11 20:50:30 1363

原创 OpenFaaS梳理之一:部署

《OpenFaaS梳理》系列是最近在做的一个项目需要用到openfaas,该项目基本的实现是通过利用openfaas将Python基础镜像结合用户自定义的Python脚本,并通过发布服务和调度任务等方式,实现将一个个机器学习任务隔离在不同的容器服务中执行,实现现场人员机器学习任务的利用。本系列从最基础的部署开始,希望通过对之前开发中的细节和实现的回顾,浅入深逐渐熟悉OpenFaaS的高级功能,并将整个研发的思路过程做一次回顾。

2022-09-11 13:39:52 1298

原创 docker-java实现镜像管理的基本操作

本篇旨在通过最基础的代码实现简单的docker镜像获取、构建加载及将镜像推送到harbor仓库等基础操作。前提已经安装好了docker和harbor。

2022-08-29 23:10:55 2817 3

原创 Docker启动SpringBoot简单例子

本篇介绍Docker启动SpringBoot HelloWorld的简单例子

2022-08-28 23:35:57 692 1

原创 SpringBoot使用Nacos进行服务注册发现与配置管理

Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据及流量管理。本文将简单介绍如何将nacos作为服务注册中心和配置管理。

2022-08-22 22:39:50 7364

原创 Windows下Nacos安装

Windows下Nacos安装,下载、安装及踩坑详细讲解

2022-08-21 22:39:56 7474 1

原创 idea启动Tomcat项目发现端口一直被占用,但是没有进程在使用该端口

idea启动Tomcat报错“Error running 'SpringMVC': Address localhost:8019 is already in use”但是端口并未被占用

2022-08-21 18:11:48 1641 2

原创 Spark--Yarn分布式部署模式

Spark--Yarn分布式部署模式Yarn分布式部署模式1、安装(1)集群规划 hadoop102 hadoop103 hadoop104 Spark NodeManager ResourceManager NodeManager NameNode NodeManager DataNode DataNode DataNode (2)安装把安装包上传...

2021-04-07 23:53:19 321

原创 idea对spark程序进行远程提交和调试

第一部分 远程提交本文以WordCount程序来实现idea对spark程序进行远程提交和调试环境 利用虚拟机搭建拥有3台主机的spark集群 hadoop102 hadoop103 hadoop104 IntelliJ IDEA 2020.3.2 (Ultimate Edition) 背景知识若要把 Spark SQL 连接到一个部署好的 Hive 上,你必须把 hive-site.xml 复制到 Spark的配置文件目录中($SPARK_HOME/c

2021-04-07 14:50:43 1155 1

原创 Spark 配置连接hive 元数据库

Spark 配置连接hive 元数据库第一步 安装Hive和Spark(略)第二步 配置 Metastore 到 MySql原因是, Metastore 默认存储在自带的 derby 数据库中,推荐使用 MySQL 存储 Metastore;2.1 驱动拷贝上传并解压 mysql-connector-java-5.1.27.tar.gz 驱动包 到 hive/lib/ 目录下[root@hadoop102 mysql-libs]# tar -zxvf mysql-c..

2021-04-07 14:26:02 4152

原创 Anaconda 虚拟环境查看,创建,激活和删除等基本操作

Anaconda 虚拟环境查看,创建,激活和删除等基本操作 查看现有虚拟环境: conda env list 创建虚拟环境: conda create --name env_nameconda create --name env_name python=2.X/3.Xconda create --name env_name numpy scipy(含哪种包)conda create --name env_name python=3.6 numpy scipy 激活虚拟环.

2021-03-31 20:48:45 377

转载 一致性Hash原理与实现

一致性Hash原理与实现原文写的很好,这里只粘贴MurMurHash算法代码。具体实现算法接口类# IHashServicepublic interface IHashService { Long hash(String key);}算法接口实现类public class HashService implements IHashService { /** * MurMurHash算法,性能高,碰撞率低 * * @param ke

2021-03-30 20:04:47 121

原创 LeetCode 146.LRU 缓存机制

题目:运用你所掌握的数据结构,设计和实现一个 LRU (最近最少使用) 缓存机制 。实现 LRUCache 类:LRUCache(int capacity) 以正整数作为容量 capacity 初始化 LRU 缓存int get(int key) 如果关键字 key 存在于缓存中,则返回关键字的值,否则返回 -1 。void put(int key, int value) 如果关键字已经存在,则变更其数据值;如果关键字不存在,则插入该组「关键字-值」。当缓存容量达到上限时,它应该在...

2021-03-30 19:46:35 83

原创 LeetCode 875.猴子吃香蕉

题目:珂珂喜欢吃香蕉。这里有 N 堆香蕉,第 i 堆中有 piles[i] 根香蕉。警卫已经离开了,将在 H 小时后回来。珂珂可以决定她吃香蕉的速度 K (单位:根/小时)。每个小时,她将会选择一堆香蕉,从中吃掉 K 根。如果这堆香蕉少于 K 根,她将吃掉这堆的所有香蕉,然后这一小时内不会再吃更多的香蕉。珂珂喜欢慢慢吃,但仍然想在警卫回来前吃掉所有的香蕉。返回她可以在 H 小时内吃掉所有香蕉的最小速度 K(K 为整数)。示例 1:输入: piles = [3,6,7,11], H = 8.

2021-03-30 19:19:28 877

原创 LeetCode 1. 两数之和

题目:给定一个整数数组 nums 和一个目标值 target,请你在该数组中找出和为目标值的那 两个 整数,并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是,数组中同一个元素不能使用两遍。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]Related Topics 数组 哈希表???? 9308 ???? 0思路:思路第一次遍历数组先将所有元

2021-03-30 19:00:14 75

原创 tensorflow-gpu版本使用时报错,各种dll文件找不到

tensorflow-gpu版本使用时报错,各种dll文件找不到win10下python下载安装CUDA+tensorflow2.x使用gpu最好是“查看一下你的驱动版本号够不够,windows下一定要下载最低CUDA10.1的版本!之前下载CUDA10.0的卸载了吧。”如果已经下载了CUDA10.0 或者CUDA10.2,那就可能遇到下面这些找不到dll文件的问题。coreClock: 1.56GHz coreCount: 16 deviceMemorySize: 4.00GiB devic

2021-03-21 13:06:28 1614

转载 关于数据中台的思考与总结

关于数据中台的思考与总结目录关于数据中台的思考与总结数据中台数据汇聚数据开发智能运维数据体系数据资产管理数据服务体系离线平台苏宁实时平台美团点评bilibili网易离线数仓与实时数仓从0建设离线数仓区别数据中台解决方案零售行业原文地址:https://miaowenting.site/2020/03/24/%E5%85%B3%E4%BA%8E%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0%E7%9A

2021-03-09 16:24:26 416

原创 中文文本数据集

1. 中文任务基准测评

2020-05-21 14:35:01 990

原创 正则表达式练习

正则表达式练习:多条件匹配获取查找内容import java.util.ArrayList;import java.util.Arrays;import java.util.List;import java.util.regex.Matcher;import java.util.regex.Pattern;public class RegularLesson1 { static String matcher(String value, String regEx) {

2020-05-20 20:12:27 181

转载 机器学习

1.kaggle用户性别和年龄推断kaggle用户性别和年龄推断2.TensorFlow实现流行机器学习算法教程汇集(上)TensorFlow实现流行机器学习算法教程汇集(上)3.TensorFlow实现流行机器学习算法教程汇集(下)TensorFlow实现流行机器学习算法教程汇集(下)...

2020-05-07 17:14:15 202

python安装包basemap-1.2.1-cp37-cp37m-win_amd64.whl

python安装包,basemap-1.2.1-cp37-cp37m-win_amd64.whl和pyproj-2.6.1.post1-cp37-cp37m-win_amd64.whl安装包,亲测有效

2020-05-21

talkingdata-mobile-user-demographics.zip

基于用户app的下载和使用情况预测用户的人口属性(性别和年龄) gender_age:训练和测试集 events, app_events: 当用户使用TakingData SDK时,系统记录的日志。包括经纬度和对应app情况。 phone_brand_device_mode:用户的手机属性 数据集介绍:https://www.infoq.cn/article/predict-mobile-users-Kaggle-contest

2020-05-20

PoiMap.zip

百度地图,实现GPS轨迹绘制 实现思路: 1.根据经纬度实现车辆轨迹绘制 2.使用百度地图API的两个覆盖物实现,Polyline(折线)绘制轨迹,Marker(图标)绘制小车图标 3.将每两个坐标间连线起来,形成连贯的轨迹线路 4.生成下一个图标后删除上一个绘制的图标,形成小车移动动画感 5.本例使用的是临近的随机坐标点

2020-04-21

citydf.xls

全国340个地级以上城市中心经纬度,经纬度基本在区域中心,请酌情考虑使用,文档为EXCEL文档,方便编辑。

2020-04-17

TMDB 5000 Movie Dataset

数据集包含:tmdb_5000_movies.csv、tmdb_5000_credits.csv是Kaggle平台上的项目TMDB(The Movie Database),共计4803部电影,主要为美国地区一百年间(1916-2017)的电影作品。 Python分析:https://blog.csdn.net/zhuoyue65/article/details/80285875

2018-10-15

人工智能产品经理

随着人工智能热潮的兴起,企业对人工智能领域产品经理的人才需求也开始井喷,人工智能产品经理成为顺应时代潮流的重要人力资源。实际上,人工智能确实给现有的产品和服务带来了全方位的升级,这也给产品经理从业人员提出了更高的要求,是关注人工智能产品的产品经理们面临的一次关键转型考验。 人工智能产品经理的新起点_黄钊 互联网产品经理必读

2018-07-20

2017全球人工智能人才白皮书

2017全球人工智能人才白皮书,最新版腾讯研究院自2017年发布8月先后发布《中美两国人工智能产业发展全面解读》和《2017中美人工智能创投现状与趋势研究报告》之后,引起许多读者好评。 有读者来研究院走访,建议研究全球人工智能人才分布的课题,以便让公众更好的把握产业发展现状。 这个建议得到许多朋友的认同,大家认为,在算法算力数据都得到了较好解决的今天,AI产业的发展,更多的依赖科学家和各层面的科研人员。

2018-07-20

Python项目开发实战(第2版)带标签

目录 · · · · · · 第1部分 Python开发入门  1 第1章 Python入门  2 1.1 安装Python  2 1.1.1 安装deb包  3 1.1.2 安装第三方包  4 1.1.3 virtualenv的使用方法  5 1.1.4 多版本Python的使用  7 1.2 安装Mercurial  9 1.2.1 Mercurial概述  10 1.2.2 安装Mercurial  10 1.2.3 创建版本库  11 1.2.4 文件操作  12 1.3 编辑器与辅助开发工具  14 1.3.1 编辑器  14 1.3.2 开发辅助工具  20 1.4 小结  22 第2章 开发Web应用  24 2.1 了解Web应用  24 2.1.1 Web应用是什么  24 2.1.2 Web应用与桌面应用的区别  25 2.1.3 Web应用的机制  25 2.2 前置准备  28 2.2.1 关于Flask  28 2.2.2 安装Flask  28 2.3 Web应用的开发流程  29 2.4 明确要开发什么应用  30 2.4.1 留言板应用的需求  30 2.4.2 明确必备的功能  30 2.4.3 明确必备的页面  31 2.5 页面设计  31 2.5.1 确定成品页面的形式  31 2.5.2 编写HTML和CSS  32 2.6 实现功能  37 2.6.1 保存留言数据  37 2.6.2 获取已保存的留言列表  38 2.6.3 用模板引擎显示页面  39 2.6.4 准备评论接收方的URL  42 2.6.5 调整模板的输出  43 2.7 查看运行情况  45 2.8 小结  47 第3章 Python项目的结构与包的创建  48 3.1 Python项目  48 3.2 环境与工具  49 3.2.1 用virtualenv搭建独立环境  49 3.2.2 用pip安装程序包  55 3.2.3 小结  62 3.3 文件结构与发布程序包  62 3.3.1 编写setup.py  62 3.3.2 留言板的项目结构  64 3.3.3 setup.py与MANIFEST.in——设置程序包信息与捆绑的文件  65 3.3.4 setup.py——创建执行命令  69 3.3.5 python setup.py sdist——创建源码发布程序包  71 3.3.6 提交至版本库  71 3.3.7 README.rst——开发环境设置流程  73 3.3.8 变更依赖包  75 3.3.9 通过requirements.txt固定开发版本  77 3.3.10 python setup.py bdist_wheel——制作用于wheel发布的程序包  78 3.3.11 上传到PyPI并公开  79 3.3.12 小结  85 3.4 小结  86 第2部分 团队开发的周期  87 第4章 面向团队开发的工具  88 4.1 问题跟踪系统  88 4.1.1 Redmine  88 4.1.2 安装Redmine  89 4.1.3 Redmine的设置  91 4.1.4 插件  93 4.2 版本控制系统  94 4.2.1 Mercurial与Redmine的联动  94 4.2.2 用于生成版本库的插件  95 4.3 聊天系统  97 4.3.1 Slack  97 4.3.2 Slack的特点  98 4.3.3 Slack做不到的事  101 4.3.4 Slack的注册  102 4.4 对团队开发有帮助的工具  102 4.4.1 Dropbox  102 4.4.2 Google Drive  102 4.5 小结  103 第5章 项目管理与审查  104 5.1 项目管理与问题的区分使用  104 5.1.1 项目管理的前置准备工作  104 5.1.2 创建问题  105 5.1.3 整理问题  107 5.1.4 分割问题  107 5.2 问题模板  108 5.2.1 安装插件  108 5.2.2 问题模板的使用方法  109 5.2.3 Global Issue Templates  111 5.2.4 问题模板示例  112 5.3 问题驱动开发  114 5.3.1 别急着敲代码,先建问题  114 5.3.2 创建与问题编号同名的分支  115 5.3.3 让发布与分支相对应  115 5.3.4 分支的合并  116 5.4 审查  117 5.4.1 为什么需要审查  117 5.4.2 审查委托:代码审查篇  118 5.4.3 审查委托:作业审查篇  119 5.4.4 实施审查:代码审查篇  120 5.4.5 实施审查:作业审查篇  123 5.5 小结  123 第6章 用Mercurial管理源码  125 6.1 Mercurial版本库的管理与设置  125 6.1.1 服务器上的Uinx用户群设置  125 6.1.2 创建版本库  126 6.1.3 hgrc的设置  127 6.1.4 使用设置好的版本库  127 6.1.5 使用hgweb建立简易中央版本库  127 6.2 灵活使用“钩子”  128 6.2.1 钩子功能的设置方法  129 6.2.2 尝试钩子脚本  129 6.2.3 钩子事件  130 6.2.4 钩子功能的执行时机  131 6.2.5 编写钩子脚本  134 6.3 分支的操作  136 6.4 关于合并  137 6.4.1 未发生冲突的合并  138 6.4.2 合并时发生冲突以及用文本编辑器解决冲突的方法  140 6.4.3 合并的类型与冲突  143 6.4.4 用GUI的合并工具进行合并  144 6.5 GUI客户端  147 6.5.1 GUI客户端的介绍  147 6.5.2 GUI客户端的优点  149 6.5.3 GUI客户端的缺点  151 6.6 考虑实际运用的BePROUD Mercurial Workflow  152 6.6.1 概述  152 6.6.2 背景  152 6.6.3 版本库的结构  153 6.6.4 提交源码  154 6.6.5 提交设计  156 6.6.6 分支的合并  157 6.6.7 集成分支  158 6.7 小结  160 第7章 完备文档的基础  162 7.1 要记得给项目写文档  162 7.1.1 写文档时不想做的事  162 7.1.2 什么样的状态让人想写文档  164 7.2 Sphinx的基础与安装  165 7.2.1 Sphinx的安装  166 7.2.2 reStructuredText入门  167 7.2.3 用Sphinx写结构化文档的流程  169 7.2.4 Sphinx扩展  174 7.3 导入Sphinx可解决的问题与新出现的问题  175 7.3.1 由于是纯文本,所以能在平时用的编辑器上写文档  176 7.3.2 信息与视图相分离,所以能集中精神编辑内容,不用顾虑装饰等外观问题  176 7.3.3 可根据一个源码输出PDF等多种格式  179 7.3.4 通过结构化,文档可分成几个文件来写  180 7.3.5 能用Mercurial等轻松实现版本管理  181 7.3.6 API参考手册与程序的管理一体化  182 7.3.7 通过Web浏览器共享  184 7.3.8 导入Sphinx后仍存在的问题  185 7.4 文档集的创建与使用  186 7.4.1 什么是文档集  186 7.4.2 项目所需文档的一览表  187 7.4.3 面向项目组长、经理  187 7.4.4 面向设计者  189 7.4.5 面向开发者  189 7.4.6 面向客户  189 7.5 小结  190 第8章 模块分割设计与单元测试  191 8.1 模块分割设计  191 8.1.1 功能设计  191 8.1.2 构成Web应用的组件  192 8.1.3 组件设计  194 8.1.4 模块与程序包  195 8.2 测试  197 8.2.1 测试的种类  197 8.2.2 编写单元测试  198 8.2.3 从单元测试中剔除环境依赖  209 8.2.4 用WebTest做功能测试  215 8.3 通过测试改良设计  219 8.4 推进测试自动化  221 8.4.1 用tox自动生成执行测试的环境  221 8.4.2 可重复使用的测试环境  223 8.5 小结  223 第9章 Python封装及其运用  224 9.1 使用程序包  224 9.1.1 程序包的版本指定  224 9.1.2 从非PyPI服务器安装程序包  226 9.1.3 程序包的发布格式  228 9.1.4 生成wheelhouse的方法  230 9.1.5 从wheelhouse安装  231 9.2 巧用程序包  232 9.2.1 私密发布  232 9.2.2 巧用requirements.txt  232 9.2.3 requirements.txt层级化  233 9.2.4 为部署和CI+tox准备的requiremests  234 9.2.5 通过requirements.txt指定库的版本  235 9.3 小结  236 第10章 用Jenkins持续集成  237 10.1 什么是持续集成  237 10.1.1 持续集成的简介  237 10.1.2 Jenkins简介  239 10.2 Jenkins的安装  239 10.2.1 安装Jenkins主体程序  239 10.2.2 本章将用到的Jenkins插件  240 10.3 执行测试代码  241 10.3.1 让Jenkins运行简单的测试代码  241 10.3.2 添加Job  242 10.3.3 Job的成功与失败  244 10.4 测试结果输出到报告  246 10.4.1 安装pytest  246 10.4.2 调用pytest命令  246 10.4.3 根据pytest更改Jenkins的设置  246 10.5 显示覆盖率报告  247 10.5.1 安装pytest-cov  248 10.5.2 从pytest获取覆盖率  248 10.5.3 读取覆盖率报告  248 10.6 执行Django的测试  250 10.6.1 安装Python模块  250 10.6.2 Django的调整  251 10.6.3 示例代码  251 10.6.4 Jenkins的调整  255 10.6.5 “构建后操作”选项卡的设置  257 10.7 通过Jenkins构建文档  260 10.7.1 安装Sphinx  261 10.7.2 在Jenkins添加Job  261 10.7.3 Sphinx构建发出警告时令Job失败  261 10.7.4 查看成果  262 10.7.5 通过Task Scanner Plugin管理TODO  263 10.7.6 Task Scanner Plugin的设置示例  264 10.8 Jenkins进阶技巧  265 10.8.1 好用的功能  265 10.8.2 进一步改善  267 10.9 小结  268 第3部分 服务公开  269 第11章 环境搭建与部署的自动化  270 11.1 确定所需环境的内容  270 11.1.1 网络结构  270 11.1.2 服务器搭建内容的结构化  272 11.1.3 用户的设置  273 11.1.4 选定程序包  274 11.1.5 中间件的设置  277 11.1.6 部署  280 11.2 用Ansible实现自动化作业  282 11.2.1 Ansible简介  282 11.2.2 文件结构  287 11.2.3 执行Ansible  288 11.2.4 与最初确定的结构相对应  288 11.2.5 将各步骤Ansible化  289 11.2.6 整理Ansible的执行环境  295 11.3 小结  296 第12章 应用的性能改善  298 12.1 Web应用的性能  298 12.1.1 Web应用面对大量集中请求时会产生哪些问题  298 12.1.2 针对高负荷的对策  299 12.2 评估留言板应用的性能  300 12.2.1 什么是应用的性能  300 12.2.2 安装ApacheBench  300 12.2.3 用ApachBench评估性能  301 12.3 gunicorn简介  303 12.3.1 安装gunicorn  304 12.3.2 在gunicorn上运行应用  304 12.4 nginx简介  306 12.4.1 安装nginx  306 12.4.2 检测nginx的性能  307 12.5 在nginx和gunicorn上运行应用  310 12.5.1 gunicorn的设置  310 12.5.2 nginx的设置  310 12.5.3 评估nginx+gunicorn的性能  311 12.5.4 性能比较  312 12.6 小结  313 第4部分 加速开发的技巧  315 第13章 让测试为我们服务  316 13.1 认识现状:测试的客观环境  316 13.2 将测试导入开发各个阶段  317 13.2.1 文档的测试(审查)  317 13.2.2 测试设计的编写方法(输入与输出)  320 13.2.3 测试的实施与测试阶段的轮换(做什么,做多少)  323 13.3 小结:测试并不可怕  326 第14章 轻松使用Django  327 14.1 Django简介  327 14.1.1 Django的安装  327 14.1.2 Django的架构  327 14.1.3 Django的文档  331 14.2 数据库的迁移  331 14.2.1 什么是数据库的迁移  331 14.2.2 Django的迁移功能  332 14.3 fixture replacement  339 14.3.1 什么是测试配置器  339 14.3.2 几种不便使用默认配置器的情况  342 14.3.3 如何使用factory_boy  343 14.3.4 消除“不便使用默认配置器的情况”  345 14.4 Django Debug Toolbar  346 14.5 小结  353 第15章 方便好用的Python模块  355 15.1 轻松计算日期  355 15.1.1 日期计算的复杂性  355 15.1.2 导入dateutil  357 15.2 简化模型的映射  359 15.2.1 模型映射的必要性  359 15.2.2 映射规则的结构化与重复利用  360 15.2.3 导入bpmappers  363 15.2.4 与Django联动  366 15.2.5 编写JSON API  367 15.3 图像处理  369 15.3.1 安装Pillow  369 15.3.2 图像格式转换  371 15.3.3 改变图像尺寸  372 15.3.4 剪裁图像  374 15.3.5 对图像进行滤镜处理  375 15.4 数据加密  377 15.4.1 安装PyCrypto  377 15.4.2 通用加密系统的加密及解密  377 15.4.3 公钥加密系统(RSA)的加密与解密  378 15.5 使用Twitter的API  382 15.5.1 导入tweepy  382 15.5.2 添加应用与获取用户密钥  382 15.5.3 获取访问令牌  385 15.5.4 调用Twitter API  385 15.5.5 编写用Twitter认证的系统  387 15.6 使用REST API  393 15.6.1 REST简介  394 15.6.2 导入Requests  394 15.6.3 导入测试服务器  394 15.6.4 发送GET请求  396 15.6.5 发送POST请求  397 15.6.6 发送JSON格式的POST请求  398 15.6.7 使用GET/POST之外的HTTP方法  399 15.7 小结  400 附录  401 附录A VirtualBox的设置  402 A.1 安装VirtualBox  402 A.2 新建虚拟机  403 A.3 备份虚拟机  404 附录B OS(Ubuntu)的设置  407 B.1 安装Ubuntu  407 B.2 SSH的设置  417 B.3 中文的设置  419 B.4 添加用户  419

2018-07-20

fer2013人脸表情识别数据集

该数据是kaggle2013年一个比赛的数据集,比赛网址为:https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data 数据包含三个文件:fer2013.bib,fer2013.csv,README

2018-06-24

剑指offer完整版PDF带目录源码(C++和Java版)

目录 · · · · · · 第1章 面试的流程 1 1.1 面试官谈面试 1 1.2 面试的3种形式 2 1.2.1 电话面试 2 1.2.2 共享桌面远程面试 3 1.2.3 现场面试 4 1.3 面试的3个环节 5 1.3.1 行为面试环节 5 1.3.2 技术面试环节 10 1.3.3 应聘者提问环节 17 1.4 本章小结 18 第2章 面试需要的基础知识 20 2.1 面试官谈基础知识 20 2.2 编程语言 21 2.2.1 C++ 22 2.2.2 C# 27 2.3 数据结构 36 2.3.1 数组 36 2.3.2 字符串 47 2.3.3 链表 55 2.3.4 树 59 2.3.5 栈和队列 67 2.4 算法和数据操作 71 2.4.1 递归和循环 72 2.4.2 查找和排序 78 2.4.3 回溯法 87 2.4.4 动态规划与贪婪算法 93 2.4.5 位运算 98 2.5 本章小结 103 第3章 高质量的代码 104 3.1 面试官谈代码质量 104 3.2 代码的规范性 105 3.3 代码的完整性 106 3.4 代码的鲁棒性 132 3.5 本章小结 151 第4章 解决面试题的思路 153 4.1 面试官谈面试思路 153 4.2 画图让抽象问题形象化 154 4.3 举例让抽象问题具体化 163 4.4 分解让复杂问题简单化 184 4.5 本章小结 199 第5章 优化时间和空间效率 201 5.1 面试官谈效率 201 5.2 时间效率 202 5.3 时间效率与空间效率的平衡 237 5.4 本章小结 254 第6章 面试中的各项能力 256 6.1 面试官谈能力 256 6.2 沟通能力和学习能力 257 6.3 知识迁移能力 260 6.4 抽象建模能力 293 6.5 发散思维能力 305 6.6 本章小结 313 第7章 两个面试案例 315 7.1 案例一:(面试题67)把字符串转换成整数 316 7.2 案例二:(面试题68)树中两个节点的最低公共祖先 324

2018-01-20

Python数据分析与挖掘实战pdf带标签+源代码

目录 · · · · · · 前言 基础篇 第1章 数据挖掘基础2 1.1 某知名连锁餐饮企业的困惑2 1.2 从餐饮服务到数据挖掘3 1.3 数据挖掘的基本任务4 1.4 数据挖掘建模过程4 1.4.1 定义挖掘目标4 1.4.2 数据取样5 1.4.3 数据探索6 1.4.4 数据预处理7 1.4.5 挖掘建模7 1.4.6 模型评价7 1.5 常用的数据挖掘建模工具7 1.6 小结9 第2章 Python数据分析简介10 2.1 搭建Python开发平台12 2.1.1 所要考虑的问题12 2.1.2 基础平台的搭建12 2.2 Python使用入门13 2.2.1 运行方式14 2.2.2 基本命令15 2.2.3 数据结构17 2.2.4 库的导入与添加20 2.3 Python数据分析工具22 2.3.1 Numpy23 2.3.2 Scipy24 2.3.3 Matplotlib24 2.3.4 Pandas26 2.3.5 StatsModels27 2.3.6 Scikit-Learn28 2.3.7 Keras29 2.3.8 Gensim30 2.4 配套资源使用设置31 2.5 小结32 第3章 数据探索33 3.1 数据质量分析33 3.1.1 缺失值分析34 3.1.2 异常值分析34 3.1.3 一致性分析37 3.2 数据特征分析37 3.2.1 分布分析37 3.2.2 对比分析40 3.2.3 统计量分析41 3.2.4 周期性分析44 3.2.5 贡献度分析45 3.2.6 相关性分析47 3.3 Python主要数据探索函数50 3.3.1 基本统计特征函数50 3.3.2 拓展统计特征函数53 3.3.3 统计作图函数54 3.4 小结59 第4章 数据预处理60 4.1 数据清洗60 4.1.1 缺失值处理60 4.1.2 异常值处理64 4.2 数据集成64 4.2.1 实体识别64 4.2.2 冗余属性识别65 4.3 数据变换65 4.3.1 简单函数变换65 4.3.2 规范化66 4.3.3 连续属性离散化68 4.3.4 属性构造70 4.3.5 小波变换71 4.4 数据规约74 4.4.1 属性规约74 4.4.2 数值规约77 4.5 Python主要数据预处理函数80 4.6 小结81 第5章 挖掘建模83 5.1 分类与预测83 5.1.1 实现过程83 5.1.2 常用的分类与预测算法84 5.1.3 回归分析85 5.1.4 决策树89 5.1.5 人工神经网络95 5.1.6 分类与预测算法评价100 5.1.7 Python分类预测模型特点103 5.2 聚类分析104 5.2.1 常用聚类分析算法104 5.2.2 K-Means聚类算法105 5.2.3 聚类分析算法评价111 5.2.4 Python主要聚类分析算法111 5.3 关联规则113 5.3.1 常用关联规则算法114 5.3.2 Apriori算法114 5.4 时序模式119 5.4.1 时间序列算法120 5.4.2 时间序列的预处理120 5.4.3 平稳时间序列分析122 5.4.4 非平稳时间序列分析124 5.4.5 Python主要时序模式算法132 5.5 离群点检测134 5.5.1 离群点检测方法135 5.5.2 基于模型的离群点检测方法136 5.5.3 基于聚类的离群点检测方法138 5.6 小结141 实战篇 第6章 电力窃漏电用户自动识别144 6.1 背景与挖掘目标144 6.2 分析方法与过程147 6.2.1 数据抽取148 6.2.2 数据探索分析148 6.2.3 数据预处理151 6.2.4 构建专家样本156 6.2.5 模型构建157 6.3 上机实验161 6.4 拓展思考162 6.5 小结163 第7章 航空公司客户价值分析164 7.1 背景与挖掘目标164 7.2 分析方法与过程166 7.2.1 数据抽取168 7.2.2 数据探索分析168 7.2.3 数据预处理169 7.2.4 模型构建173 7.3 上机实验177 7.4 拓展思考178 7.5 小结179 第8章 中医证型关联规则挖掘180 8.1 背景与挖掘目标180 8.2 分析方法与过程181 8.2.1 数据获取183 8.2.2 数据预处理186 8.2.3 模型构建190 8.3 上机实验193 8.4 拓展思考194 8.5 小结194 第9章 基于水色图像的水质评价195 9.1 背景与挖掘目标195 9.2 分析方法与过程195 9.2.1 数据预处理197 9.2.2 模型构建199 9.2.3 水质评价201 9.3 上机实验202 9.4 拓展思考202 9.5 小结203 第10章 家用电器用户行为分析与事件识别204 10.1 背景与挖掘目标204 10.2 分析方法与过程205 10.2.1 数据抽取206 10.2.2 数据探索分析207 10.2.3 数据预处理207 10.2.4 模型构建217 10.2.5 模型检验219 10.3 上机实验220 10.4 拓展思考221 10.5 小结222 第11章 应用系统负载分析与磁盘容量预测223 11.1 背景与挖掘目标223 11.2 分析方法与过程225 11.2.1 数据抽取226 11.2.2 数据探索分析226 11.2.3 数据预处理227 11.2.4 模型构建229 11.3 上机实验235 11.4 拓展思考236 11.5 小结237 第12章 电子商务网站用户行为分析及服务推荐238 12.1 背景与挖掘目标238 12.2 分析方法与过程240 12.2.1 数据抽取242 12.2.2 数据探索分析244 12.2.3 数据预处理251 12.2.4 模型构建256 12.3 上机实验266 12.4 拓展思考267 12.5 小结269 第13章 财政收入影响因素分析及预测模型270 13.1 背景与挖掘目标270 13.2 分析方法与过程272 13.2.1 灰色预测与神经网络的组合模型273 13.2.2 数据探索分析274 13.2.3 模型构建277 13.3 上机实验294 13.4 拓展思考295 13.5 小结296 第14章 基于基站定位数据的商圈分析297 14.1 背景与挖掘目标297 14.2 分析方法与过程299 14.2.1 数据抽取299 14.2.2 数据探索分析299 14.2.3 数据预处理301 14.2.4 模型构建304 14.3 上机实验308 14.4 拓展思考309 14.5 小结309 第15章 电商产品评论数据情感分析310 15.1 背景与挖掘目标310 15.2 分析方法与过程310 15.2.1 评论数据采集311 15.2.2 评论预处理314 15.2.3 文本评论分词320 15.2.4 模型构建320 15.3 上机实验333 15.4 拓展思考334 15.5 小结335

2018-01-09

pandas API英文版(20171212版)

pandas: powerful Python data analysis toolkit Release 0.21.1 Wes McKinney & PyData Development Team Dec 12, 2017

2018-01-05

利用Python进行数据分析pdf中文完整带目录+源代码(py和ipynb)

目录 前言 1 第1章 准备工作 5 本书主要内容 5 为什么要使用Python进行数据分析 6 重要的Python库 7 安装和设置 10 社区和研讨会 16 使用本书 16 致谢 18 第2章 引言 20 来自bit.ly的1.usa.gov数据 21 MovieLens 1M数据集 29 1880—2010年间全美婴儿姓名 35 小结及展望 47 第3章 IPython:一种交互式计算和开发环境 48 IPython基础 49 内省 51 使用命令历史 60 与操作系统交互 63 软件开发工具 66 IPython HTML Notebook 75 利用IPython提高代码开发效率的几点提示 77 高级IPython功能 79 致谢 81 第4章 NumPy基础:数组和矢量计算 82 NumPy的ndarray:一种多维数组对象 83 通用函数:快速的元素级数组函数 98 利用数组进行数据处理 100 用于数组的文件输入输出 107 线性代数 109 随机数生成 111 范例:随机漫步 112 第5章 pandas入门 115 pandas的数据结构介绍 116 基本功能 126 汇总和计算描述统计 142 处理缺失数据 148 层次化索引 153 其他有关pandas的话题 158 第6章 数据加载、存储与文件格式 162 读写文本格式的数据 162 二进制数据格式 179 使用HTML和Web API 181 使用数据库 182 第7章 数据规整化:清理、转换、合并、重塑 186 合并数据集 186 重塑和轴向旋转 200 数据转换 204 字符串操作 217 示例:USDA食品数据库 224 第8章 绘图和可视化 231 matplotlib API入门 231 pandas中的绘图函数 244 绘制地图:图形化显示海地地震危机数据 254 Python图形化工具生态系统 260 第9章 数据聚合与分组运算 263 GroupBy技术 264 数据聚合 271 分组级运算和转换 276 透视表和交叉表 288 示例:2012联邦选举委员会数据库 291 第10章 时间序列 302 日期和时间数据类型及工具 303 时间序列基础 307 日期的范围、频率以及移动 311 时区处理 317 时期及其算术运算 322 重采样及频率转换 327 时间序列绘图 334 移动窗口函数 337 性能和内存使用方面的注意事项 342 第11章 金融和经济数据应用 344 数据规整化方面的话题 344 分组变换和分析 355 更多示例应用 361 第12章 NumPy高级应用 368 ndarray对象的内部机理 368 高级数组操作 370 广播 378 ufunc高级应用 383 结构化和记录式数组 386 更多有关排序的话题 388 NumPy的matrix类 393 高级数组输入输出 395 性能建议 397 附录A Python语言精要 401

2018-01-05

titanic_dataset.csv(泰坦尼克数据集)

Abstract The titanic dataset gives the values of four categorical attributes for each of the 2201 people on board the Titanic when it struck an iceberg and sank. The attributes are social class (first class, second class, third class, crewmember), age (adult or child), sex, and whether or not the person survived. Data Description Origin: natural Usage: assessment Number of attributes: 4 Number of cases: 2,201 Number of prototasks: 1 Number of methods run on this dataset: 3 Contributed by: Radford Neal

2018-01-05

Learning Jupyter 英文高清完整带标签(pdf版和epub版)下载

Learning Jupyter 英文高清完整带标签(pdf版和epub版)下载 pdf版本所有页面使用FoxitReader和PDF-XChangeViewer测试都可以打开 epub版适合kindle爱好者

2018-01-05

DS18B20用LCD1602显示Proteus仿真

PIC16F877单片机开发用ds18b20在lcd1602上实现

2016-01-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除