weixin_43139613的博客

原创 生意参谋 transit-id 和data解密

python源码下载地址transit-iddata数据解密后

原创 windows系统下安装kellte及连接mysql服务器

Kettle简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle是“Kettle E.T.T.L. Envirnonment“只取首字母的缩写，这意味着它被设计用来帮助你实现你的 ETTL 需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水壶，名字的起源是开发者希望把各种数据放到一个壶里然后以一种指定的格式流出。Spoon 是一个图形用户界面，它允许你运行转换或者任务，其中转换是用 Pan 工具来运行，任务是用

原创 记录自建ALIDDNS服务域名解析和外网访问

本文参考https://blog.csdn.net/y1534414425/article/details/90699532除上文外要补充的有AccessKey ID和AccessKey Secret可以使用子账号只需要添加一个AliyunECSReadOnlyAccess权限就可以了需要路由器上虚拟机服务设计端口映射完事就可外网访问了...

原创 superset在linux和windows下的安装和部署

前言Superset 是 Airbnb开源的数据探查与可视化平台，是个轻量级的BI工具，开发者可以在其开源代码上根据需要进行二次开发。最近在探索数据分析平台的应用，就来试一试，然而superset更新迭代的速度太快，里面也有太多的坑，花了两天的时间踩完，下面就把流程以及相应的坑分享~superset github地址：https://github.com/apache/incubator-superset官方文档：http://superset.apache.org/installation.html

原创 天天基金爬虫

import requestsfrom requests.exceptions import ConnectionErrorfrom pyquery import PyQuery as pqimport operatorfrom functools import reduceimport reimport jsonimport pandas as pdimport numpy as npheaders = { 'Host':'club.jd.com', '

转载 python按时间坐标预测销量

import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport matplotlib as mplimport datetimeimport warningswarnings.filterwarnings("ignore")import statsmodels.api as smfrom statsmodels.graphics.api import qqplotfrom statsmodels.ts

原创 ubuntu安装记录

记录安装ubuntu系统的mysql和samba共享服务的坑1.安装mysql8.0的话，需要先安装一个mysql-apt-config_0.8.15-1_all.deb的文件，dpkg -i mysql-apt-config_0.8.15-1_all.deb2.然后sudo apt install mysql-server3.按部就班的安装，MySQL8.0采用了新的加密方式，一定要注意，正是因为这个加密方式才导致Ubuntu18.04用设置的root密码登录不了MySQL，因为Ubuntu18.0

原创 算年化利率的公式

def ap(p,n,r): i = 0 l = 0 s = 0 while i <= n: l = (s+p-i*p/n)*(r/12) i += 1 s += l return s #ap(3999,24,0.04)import matplotlib.pyplot as pltimp...

原创 报错：（1193, "Unknown system variable 'tx_isolation'"）

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade sqlalchemy --ignore-installed这个安装以后会报错提示如下WARNING: You are using pip version 19.3.1; however, version 20.0.2 is available.You sho...

原创 Panda read_csv() 在anaconda中读入中文列时显示为乱码的问题

一开始怎么搞都没有用df0 = pd.read_csv(p1,,encoding='utf-8)报错df0 = pd.read_csv(p1,engine='python')打开全是乱码df0 = pd.read_csv(open(p1))依旧打不开df0 = pd.read_csv(test_data_file_dir,engine='python',sep=',',enco...

原创 python操作Excel实用技巧

1.使用“|””对字符串进行分隔，然后可以筛选出保函有的品类m = "|".join(list(pbpd['品牌信息']))uhpb['种类'] = uhpb['商品信息'].str.findall(m)2.多张Excel合成为一张，并加入A列以区分dfs = []p = os.listdir(r'D:\xml\............')for i in range(len(p)...

原创 数据归一化处理方法

最值归一化 Normalization# 最值归一化 Normalizationimport numpy as npx = np.random.randint(1,100,size=100)#进行最值归一化x = (x - np.min(x)) / (np.max(x) - np.min(x))#多维数组的最值归一化X = np.random.randint(1,100,(50,...

原创 K近邻算法--鸢尾花数据集

from sklearn import datasetsiris = datasets.load_iris()x = iris.datay = iris.targetfrom sklearn.model_selection import train_test_splitx_train, x_test,y_train, y_test = train_test_split(x,y,te...

原创 selenium爬虫丁香医生实时播报

from pyecharts.faker import Fakerfrom pyecharts import options as optsfrom pyecharts.charts import Mapfrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdri...

原创 实时的可视化疫情地图

多难兴邦，希望疫情尽快结束，等待春暖花开from pyecharts.faker import Fakerfrom pyecharts import options as optsfrom pyecharts.charts import Mapfrom selenium import webdriverfrom selenium.webdriver.common.by import By...

原创 pandas生意参谋数据处理

import os import pandas as pdhhye = os.listdir(r'C:\Users\18352\Desktop\Python\read_Excel\01-天猫行业数据分析')for k in range(len(hhye)): wwdu = os.listdir(r'C:\Users\18352\Desktop\Python\read_Excel...

原创 简单层的实现

class MulLayer: def __init__(self): self.x = None self.y = None def forward(self,x,y): self.x = x self.y = y out = x*y return out ...

原创 天猫超市requests爬虫

import pymongoimport requestsfrom requests.exceptions import ConnectionErrorfrom pyquery import PyQuery as pqimport timeclient = pymongo.MongoClient('localhost')db = client['tmmc']#PROXY_POOL...

原创 30行Python代码爬取LOL全英雄皮肤

受到~wangweijun的20行Python代码爬取王者荣耀全英雄皮肤的启发我去试试同样的方法爬取LOL皮肤，果然方法大同小异，毕竟都是腾讯系的首先进入LOL官网进入资料库获取全英雄的详细列表，包括ID、绰号、英文名、中文名等等url = 'https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js'herol...

原创 python爬虫天猫超市

# -*- coding: utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_condi...

原创 爬虫天猫超市失败

# -*- coding: utf-8 -*-"""Created on Fri Dec 6 09:33:51 2019@author: 18352"""from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys impo...

原创 selenium的基础用法

from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom seleniu...

原创 解决No module named 'sklearn.cross_validation'

sklearn中已经废弃cross_validation,将其中的内容整合到model_selection中将sklearn.cross_validation 替换为 sklearn.model_selectionfrom sklearn.model_selection import KFold无报错...

原创 pandas清洗Kobe数据

清洗Kobe数据import pandas as pdimport matplotlib.pyplot as pltimport matplotlib.cm as cmimport numpy as npraw = pd.read_csv('.\data\kobe_data.csv')print(raw.shape)kobe = raw[pd.notnull(raw['shot_...

翻译 scikit-learn__03.2__Regression-Forests

Supervised Learning In-Depth: Random Forests(随机森林)以前，我们看到了一个强大的判别分类器** Support Vector Machines **。在这里，我们将探讨激励另一个强大的算法。 这是一种称为“随机森林”的非参数算法。%matplotlib inlineimport numpy as npimport matplotlib.pyp...

翻译 scikit-learn__03.1__Classification-SVMs

深度监督学习:支持向量机之前，我们介绍了有监督的机器学习。有许多监督学习算法可用。 在这里，我们将简要介绍最强大且有趣的方法之一：支持向量机（SVM）。%matplotlib inlineimport numpy as npimport matplotlib.pyplot as pltfrom scipy import statsplt.style.use('seaborn')...

翻译 scikit-learn__02.2__Basic-Principles

机器学习的基本原则在这里，我们将深入探讨机器学习的基本原理，以及如何通过Scikit-Learn API使用它们。在简要介绍scikit-learn的Estimator对象之后，我们将介绍有监督的学习，包括分类和回归问题，以及无监督的学习，包括降维和聚类问题。%matplotlib inlineimport numpy as npimport matplotlib.pyplot as p...

翻译 scikit-learn__02.1__iMachine-Learnng

Scikit-Learn简介：使用Python进行机器学习本课程将涵盖Scikit-Learn的基础知识，Scikit-Learn是一个受欢迎的软件包，其中包含用Python编写的机器学习工具集合。 有关更多信息，请访问http://scikit-learn.org。大纲主要目标：介绍机器学习的中心概念，以及如何使用Scikit-learn软件包将其应用在Python中。机器学习的定义s...

翻译 scikit-learn__01__Preliminaries

scikit-learn简介：Python中的机器学习本教程的目标介绍机器学习的基础知识，以及一些在实践中有用的技能。介绍scikit-learn的语法，以便您可以使用可用的丰富工具集。时间表：预备课程：设置和介绍（15分钟）确保您的计算机已安装机器学习和Scikit学习界面的基本原理（45分钟）什么是机器学习？机器学习数据布局监督学习分类回归衡量绩效无监督学习聚类...

原创 SQL server 2008数据备份与还原

选择位置添加备份文件，然后点击确定备份然后随便插入一些内容在数据库属性选择单用户模式，确定选择原设备勾上覆盖，点确定完成

原创 Linux基础命令

原创 python将Excel导入SQL server 中

import xlrdimport pymssqlimport datetime # 连接本地sql server 地址 用户名 密码 数据库conn = pymssql.connect("192.168.**.***", "sa", "********", "*****")# 建立cursor...

原创 python淘宝爬虫存入MonggoDB

# -*- coding: utf-8 -*-#定向爬取淘宝商品页面import requestsimport reimport pymongoclient = pymongo.MongoClient('localhost')db = client['taobao']headers = { 'Cookie':'thw=c9B567C18', 'Ho...

原创 简单爬取知乎热榜到mongodb

import pymongoimport requestsfrom requests.exceptions import ConnectionErrorfrom pyquery import PyQuery as pqclient = pymongo.MongoClient('localhost')db = client['zhihu']base_url = 'https://...

原创 使用代理把搜索结果导入mongo

# -*- coding: utf-8 -*-"""Spyder EditorThis is a temporary script file."""import pymongoimport requestsfrom requests.exceptions import ConnectionErrorfrom pyquery import PyQuery as pqclient...

原创 requests爬虫搜狗微信公众号

# -*- coding: utf-8 -*-"""Spyder EditorThis is a temporary script file."""import requestsfrom requests.exceptions import ConnectionErrorfrom pyquery import PyQuery as pq#keyword = '风景'bas...

原创 深度学习-2

Jupyter Notebook深度学习2最后检查: 上星期二09:41(自动保存)Current Kernel LogoPython 3FileEditViewInsertCellKernelWidgetsHelpimport sys , osimport sys , ossys.path.append(os.pardir)sys.path.append(os....

原创 深度学习入门神经网络的学习

原创 深度学习-1

跃迁函数简单说就是大于0返回1，否则返回0import numpy as np0def setp_function(x): y = x > 0 return y.astype(np.int)x = np.array([-1,1,2])psetp_function(x)array([0, 1, 1])import matplotlib.pylab as plt...

原创 将Excel转化为xml格式

# -*- coding: utf-8 -*-"""Created on Mon Aug 19 14:14:01 2019@author: Administrator"""#!/usr/bin/env python# -*- coding:utf-8 -*- #Android国际化： 将excel中的内容转化到xml中 #! encoding=utf-8 import x...