- 博客(267)
- 收藏
- 关注
RSS订阅转载 Jupyter Notebook安装和使用详情(你不懂我......)
一、Jupyter Notebook是什么？1.notebook jupyter简介Jupyter Notebook是一个开源Web应用程序，允许您创建和共享包含实时代码，方程式，可视化效果和叙述文本的文档。用途包括：数据清理和转换，数值模拟，统计建模，数据可视化，机器学习等Jupyter Notebook是一个交互式的笔记本，支持运行超过40种编程语言,Jupyter N...
2019-09-29 15:02:00
37119
转载 Django中自定义模型管理器(Manager)及方法
1.自定义管理器(Manager)在语句Book.objects.all()中,objects是一个特殊的属性,通过它来查询数据库,它就是模型的一个Manager.每个Django模型至少有一个manager,你可以创建自定义manager以定制数据库的访问.这里有两个方法创建自定义manager:添加额外的manager;修改manager返回的初始Queryset.添加额外的...
2019-09-23 11:32:00
590
转载 常用流行的前端框架
一、Ant Design网站链接：https://ant.design/index-cn蚂蚁金服出品，非常著名的框架。就算你不了解前端，也会在公司的项目中多少听到程序员说起过。目前很多公司都在用，已经很成熟。而且提供了对设计师友好的 Sketch 规范文件，可以直接拿来用。Ant Design 是基于 React 开发的，并不是传统的 html。React 起源于 ...
2019-09-19 17:37:00
378
转载 Anaconda的详细安装步骤图文并茂
Anaconda（官方网站）就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。事实上Anaconda 和 Jupyter notebook已成为数据分析的标准环境。一、什么是Anaconda?Anaconda在英文中是“蟒蛇”，麻辣鸡（Nicki Minaj妮琪·米...
2019-09-03 14:51:00
1386
转载 Django restful framework中自动生成API文档
自动生成api文档（不管是函数视图还是类视图都能显示）1.安装rest_framework_swagger库pip install django-rest-swagger2.在项目下的 urls.py 中加入如下：from rest_framework_swagger.views import get_swagger_viewschema_view =...
2019-08-14 10:40:00
382
转载 Sentry错误日志监控你会用了吗？
无论作为新手还是老手程序员在程序的开发过程中，代码运行时难免会抛出异常，而且项目在部署到测试、生产环境后，我们便不可能像在开发时那样容易的及时发现处理错误了。一般我们都是在错误发生一段时间后，错误信息才会传递到开发人员那里，然后一顿操作查看程序运行的日志，就熟练使用awk和grep去分析日志，但是往往我们会因为日志中缺少上下文关系，导致很难分析真正的错误是什么。Sentry由此应运而...
2019-08-13 20:02:00
459
转载 django执行源生的mysql语句
执行源生sql在python中我们可以借助pymysql模块来进行执行源生sql关于pymysql执行源生sql可以看我的另外一篇博文：pymysql应用本篇博客只介绍django中执行的源生sql1.使用extra方法 解释：结果集修改器，一种提供额外查询参数的机制 说明：依赖model模型使用方式： 用在where后: Book.obj...
2019-08-13 11:58:00
202
转载 django实现自定义manage命令的扩展
在Django开发过程中我们都用过django-admin.py和manage.py命令。django-admin.py是一个命令行工具，可以执行一些管理任务，比如创建Django项目。而manage.py是在创建每个Django project时自动添加在项目目录下的，只是对manage.py的一个简单包装，其功能是将Django project放到sys.path目录中，同时设置...
2019-08-12 16:51:00
228
转载 C++教程详解
第一篇：基础篇简介、环境配置、基本语法、注释、数据类型、变量类型、变量作用域、常量、修饰符类型、存储类、运算符、循环、判断、函数、数字、数组、字符串、指针、引用、日期&时间、基本的输入输出、数据结构第二篇：面向对象类&对象、继承、重载运算符和重载函数、多态、数据抽象、数据封装、接口(抽象类)第三篇：高级教程文件和流、异常处理、动态内存、命名空间...
2019-08-11 16:45:00
228
转载 python数据分析教程大全
第一篇：Anaconda安装和使用第二篇：Jupyter norebook使用第三篇：pandas教程第四篇：numpy教程第五篇：Matplotlib教程第六篇：实战项目期待吗？(微笑脸)转载于:https://www.cnblogs.com/sui776265233/p/11317352.html...
2019-08-07 19:45:00
583
转载 将mysql主键id从1开始 变为自增
在变为自增前，为了保证数据的安全性我们先将表中的数据备份一份，备份是通过mysql命令进行备份，如果已经安装mysql可视化工具navicat也可右键完成备份1、备份表结构create table table_bak like table_name; # table_bak备份的表名字可以自己定义，table_name是你要备份的表名2、备份表数据insert...
2019-08-06 14:42:00
839
转载 django restful framework教程大全
一. 什么是RESTfulREST与技术无关，代表的是一种软件架构风格，REST是Representational State Transfer的简称，中文翻译为“表征状态转移”REST从资源的角度类审视整个网络，它将分布在网络中某个节点的资源通过URL进行标识，客户端应用通过URL来获取资源的表征，获得这些表征致使这些应用转变状态REST与技术无关，代表的是一种软件架...
2019-08-02 20:40:00
520
转载 python爬取拉勾网数据并进行数据可视化
爬取拉勾网关于python职位相关的数据信息，并将爬取的数据已csv各式存入文件，然后对csv文件相关字段的数据进行清洗，并对数据可视化展示，包括柱状图展示、直方图展示、词云展示等并根据可视化的数据做进一步的分析，其余分析和展示读者可自行发挥和扩展包括各种分析和不同的存储方式等。。。。。一、爬取和分析相关依赖包Python版本： Python3.6requests: 下载...
2019-07-07 17:38:00
755
转载 celery分布式任务队列的使用
一、Celery介绍和基本使用Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery， 举几个实例场景中可用的例子:你想对100台机器执行一条批量命令，可能会花很长时间 ，但你不想让你的程序等着结果返回，而是给你返回 一个任务ID,你过一段时间只需要拿着这个任务...
2019-06-23 11:47:00
128
转载 python的内存管理机制
Python引入了一个机制：引用计数。引用计数python内部使用引用计数，来保持追踪内存中的对象，Python内部记录了对象有多少个引用，即引用计数，当对象被创建时就创建了一个引用计数，当对象不再需要时，这个对象的引用计数为0时，它被垃圾回收。总结一下对象会在一下情况下引用计数加1：1.对象被创建：x=42.另外的别人被创建：y=x3.被作为参数传递给函数：fo...
2019-06-22 13:52:00
112
转载 ubuntu中安装rabbitmq服务并成功启动
在我们使用rabbitmq时，首先要对其进行安装，而后才能对其进行使用安装 Erlang由于 RabbitMQ 是采用 Erlang 编写的，所以需要安装 Erlang 语言库。就像 java 需要安装 jvm 一样。首先在系统中加入 erlang apt 仓库。$ wget https://packages.erlang-solutions.com/erlang-s...
2019-05-31 11:27:00
1095
转载 python实现异步调用函数执行
在实现异步调用之前我们先进行什么是同步调用和异步调用同步：是指完成事务的逻辑，先执行第一个事务，如果阻塞了，会一直等待，直到这个事务完成，再执行第二个事务，顺序执行异步：是和同步相对的，异步是指在处理调用这个事务的之后，不会等待这个事务的处理结果，直接处理第二个事务去了，通过状态、通知、回调来通知调用者处理结果分析一下，下面的例子：定义了一个装饰器 async 和 ...
2019-05-30 15:48:00
1409
转载 基于docker部署flask+gunicorn+nginx
nginx安装在/etc/下，项目映射在docker中的/var/www/下1、创建docker容器将端口映射出来，将docker外的项目映射到docker中#docker run -it -p 8007:8000 -v /opt/project/datatagservice:/var/www/ --name datatagservicetest harbor.fir.ai/...
2019-05-23 17:11:00
863
转载 python实现定时任务那些你不知道的模块
一、使用time中的sleep这种方式最简单，在循环里放入要执行的任务，然后sleep一段时间在执行from datetime import datetimeimport time# 每n秒执行一次def timer(n): while True: print(datetime.now().strftime("%Y-%m-%d %H:%...
2019-05-23 11:19:00
133
转载 基于paramiko将文件上传到服务器上
通过安装使用paramiko模块，将本地文件上传到服务器上import paramikoimport datetimeimport oshostname = '服务器ip'username = 'root'password = '服务器密码'port = 22#配置信息可以写到配置文件中#loacl_file是要上传的本地文件路径#remote...
2019-05-23 09:58:00
510
转载 docker的一些常用操作
镜像：一个打包好的应用，还有应用运行的系统、资源、配置等容器：镜像的实例，一个镜像可以有一个或多个实例(容器)对docker容器的变更时写到容器的文件系统的，而不是写到docker镜像中的，可以用一个docker镜像启动多个容器，这些容器启动后都是活动的，彼此还是互相隔离的，我们对一个容器的变更指挥局限于那个容器本身，容器之间的交互时靠容器id来进行识别的docker部署django...
2019-05-20 10:57:00
173
转载 python读写、创建文件、文件夹等等
python中对文件、文件夹（文件操作函数）的操作需要涉及到os模块和shutil模块。得到当前工作目录，即当前Python脚本工作的目录路径:os.getcwd()返回指定目录下的所有文件和目录名:os.listdir()函数用来删除一个文件:os.remove()删除多个目录：os.removedirs（r“c：\python”）检验给出的路径是否是一个文件：o...
2019-05-10 11:56:00
400
转载 git开发中常用命令
项目代码克隆岛本地git clone 项目地址#如：git clone http://cngit.fir.ai/data_service/distributedstorage.git克隆指定分支的代码git clone -b 分支名 项目url #如：git clone -b fastdfs-dev http://cngit.fir.ai/data_se...
2019-05-06 18:32:00
108
转载 django中使用FastDFS分布式文件系统接口代码实现文件上传、下载、更新、删除
运维使用docker部署好之后FastDFS分布式文件系统之后，提供给我接口如下：fastdfs tracker 192.168.1.216 192.168.1.217 storage 192.168.1.216 192.168.1.217我们只需要在配置文件中进行配置即可，然后利用客户端提供的接口通过简单的代码就可以将文件上传到分布式文件系统中至于内部实现...
2019-04-30 11:51:00
331
转载 分布式文件系统服务器FastDFS
1. 什么是FastDFSFastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS 架构包括 Tracker server 和 Storage server。客户端请求...
2019-04-30 10:54:00
151
转载 解决在ubuntu上启动的django项目在windows进行访问无法访问的问题
windows想要访问VMware中Ubuntu Server中Debug模式下的django服务，需要设置django允许非本机ip访问。设置方法：1.查看虚拟机ip（建议VMware中设置Ubuntu虚拟机网络为NAT模式）：root@ubuntu:~# ifconfig #我的IP为192.168.206.1292.将启动django服务命令：root@...
2019-04-28 17:15:00
753
转载 什么是元数据
1. 什么是元数据 任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据，而元数据指用来描述一个文件的特征的系统数据，诸如访问权限、文件拥有者以及文件数据块的分布信息(inode...)等等。在集群文件系统中，分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据，才能定位到文件的位置并且得到文件的内容或相关属性。2.元数据管...
2019-04-24 19:54:00
1176
转载 python中join()函数的使用方法
函数：string.join()Python中有join()和os.path.join()两个函数，具体作用如下： join()： 连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串 os.path.join()： 将多个路径组合后返回一、函数说明1、join()函数语法： 'sep'.join(seq)参数...
2019-04-23 11:50:00
135
转载 docker部署nginx
1.下载nginx[root@localhost my.Shells]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEdocker.io/redis latest 1e70071f4af4...
2019-04-22 20:43:00
66
转载 ubuntu下无法在目录下创建文件夹，权限不足解决办法
问题详情：偶然在根目录创建文件夹的时候，突然显示错误，当时很惊讶，以前没遇见过这样的问题。当时界面是这样的。 用了一个 cd / 命令从用户磁盘跳到了根目录使用 mkdir 命令准备创建一个文件夹，突然就报错了，仔细一看是用户权限不足引起的创建失败。 解决步骤：使用root权限创建文件夹，在VMware中如果采用简易安装ubuntu，root用户是没有密码的，也就是说root...
2019-04-12 15:30:00
12959
转载 mongo中的模糊查询
以下是一个mongo查询的综合应用，即介绍一个生产中实际应用的模糊查询，当然其实也很简单，主要用到mongo中的模糊查询和$or查询，以及并的关系，下面是一个mongo中的一条记录{ "_id" : "ffe6a068-9043-4334-97d2-75387340e655", "file_id" : "ffe6a068-9043-4334-97d2-75...
2019-04-12 11:27:00
368
转载 mysql中的模糊查询
实例:SQL模糊查询，使用like比较关键字，加上SQL里的通配符，请参考以下：1、LIKE'Mc%' 将搜索以字母 Mc 开头的所有字符串（如 McBadden）。2、LIKE'%inger' 将搜索以字母 inger 结尾的所有字符串（如 Ringer、Stringer）。3、LIKE'%en%' 将搜索在任何位置包含字母 en 的所有字符串（如 Bennet、Green、...
2019-04-09 09:45:00
246
转载 mysql安装与配置详情
一、概述 MySQL版本：5.6.43 下载地址：mysql-installer-community-5.6.43.0，提取码：tgmk 客户端工具：NavicatforMySQL 下载地址：Navicat可视化工具(破解版)，提取码：4i5h二、MySQL安装安装条件： 1）.net framework4.0（下载地址：http://rj.ba...
2019-04-08 20:00:00
68
转载 Django model中的class Meta详解
通过一个内嵌类 "class Meta" 给你的 model 定义元数据, 类似下面这样:class Foo(models.Model): bar = models.CharField(maxlength=30) class Meta: # ...Model 元数据就是 "不是一个字段的任何数据" -- 比如排序选项, adm...
2019-04-08 15:23:00
75
转载 kafka集群搭建
1、Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：我们想分析下用户行为（pageviews），以便我们设计出更好的广告位我想对用户的搜索关键词进行统计，分析出当前的流行趋势有些数据，存储数据库浪费，直接存储硬盘效率又低这些场景都有一个共同点：数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析...
2019-04-04 16:22:00
85
转载 ubuntu在指定的文件夹下创建python3和python2的虚拟环境
1.用pip安装virtualenvsudo apt-get install python-virtualenv2.创建python2和python3虚拟环境2.1 创建python2的虚拟环境，进入要创建虚拟环境的目录下，我是放在/home/xyy/下root@xyy-Lenovo-G450:/home/xyy# virtualenv -p /usr/bin/pyt...
2019-04-04 10:22:00
540
转载 SQLAlchemy模块的使用教程
数据库表是一个二维表，包含多行多列。把一个表的内容用Python的数据结构表示出来的话，可以用一个list表示多行，list的每一个元素是tuple，表示一行记录，比如，包含id和name的user表：[ ('1', 'Michael'), ('2', 'Bob'), ('3', 'Adam')]Python的DB-API返回的数据结构就...
2019-04-01 16:10:00
121
转载 通过git命令行从github或服务器上克隆、修改和更新项目
项目开发时，为了方便版本管理，许多公司采用git来控制项目版本。简单介绍下：第一步：在本地新建一个文件夹，作为本地仓库，如“test”。打开git bash，进入到该文件夹目录下，如下图：第二步：将本地仓库初始化，命令：git init。如下图：第三步：将项目从github或者服务器上克隆下来，命令：git clone url。url为项目服务器地址或github地...
2019-03-29 10:00:00
156
转载 大数据处理过程核心技术ETL详细介绍
架构挑战1、对现有数据库管理技术的挑战。2、经典数据库技术并没有考虑数据的多类别（variety）、SQL（结构化数据查询语言），在设计的一开始是没有考虑到非结构化数据的存储问题。3、实时性技术的挑战：一般而言，传统数据仓库系统，BI应用，对处理时间的要求并不高。因此这类应用通过建模，运行1-2天获得结果依然没什么问题。但实时处理的要求，是区别大数据应用和传统数据仓库技术、B...
2019-03-25 11:20:00
1087
转载 ETL流程介绍及常用实现方法
ETL是英文Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。常见于数据仓库开发中将数据由业务系统归集到数据仓库（DW）或者数据集市的过程。在ETL三个部分中，花费时间最长的是“T”(Transform，清洗、转换)的部分，一般情况下这部分工作量是整个ETL的2/3。1抽...
2019-03-25 11:03:00
418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人