KK 笔记：专注数据【精通SQL Server 合作请私信】

SQL Server 自带有很多性能查询报告，这些报告可以让我们更直观和方便查看系统运行状况，这些报告是嵌入SSMS 中的，因此也更方便操作和管理。如下图：这些报告的查看是比较分散的，微软允许我们可以下载和安装新的性能报告。使用这些报告不需要安装报表服务。我们可以下载Microsoft® SQL Server® 2012 Performance Dashboard Reports，下载地址为https://www.microsoft.com/en-us/download/details...

相信数据库运维同学都知道，随着时间的推移，每天备份产生的记录累计越来越多。不仅在系统数据库 msdb 记录下来，SQL Server 的错误日志也会记录相应信息。如果我们不定时清理，长此以往使数据越来越多。我们查看msdb数据库，看看哪张表数据较多。select OBJECT_NAME(id),rows from msdb.sys.sysindexes where indid in(0,1)and rows > 0order by rows desc有2个系统存储过程，可..

在 Windows Server 2019 和 Windows 10 1809 中，OpenSSH 客户端和 OpenSSH 服务器是可单独安装的组件。安装组件也很简单，若要使用 PowerShell 安装 OpenSSH，请首先以管理员身份启动 PowerShell。若要确保 OpenSSH 功能可以安装，请执行以下操作Get-WindowsCapability -Online | ? Name -like 'OpenSSH*'安装服务器和/或客户端功能：Add-WindowsCapab.

本次测试只是大概了解SQL Server 在地理空间的基本使用方法。由于文章使用到了2个函数STRING_AGG 和 CONCAT_WS，建议使用 SQL Server 2017 及以上版本，本人测试的是 SQL Server 2019。我在网上找了份广东省城市经纬度信息，先贴出来，方便大伙测试。CREATE TABLE [dbo].[GuangDong]( [city] [varchar](50) NOT NULL, [longitude] [decimal](10, 6) NOT NULL..

朋友开通了一个公众号，专注于 Mcrosoft SQL Server，本人也将支持他，偶在线上回复大家的疑难问题，也希望大家支持营造一个专业环境来学习。关注请搜索公主号：SQLServer

今年没怎么整理博客，不过遇到的问题也非常多。今日整理一个，alter或drop某个存储过程、或者打开存储过程列表时，提示“架构损坏”。-- checkdb 中断报错DBCC CHECKDB(DBName)--类似的，修复液报错DBCC CHECKDB (dbname, REPAIR_ALLOW_DATA_LOSS);checkdb 中断报错CHECKDB 在数据库 'dbname' 中发现 0 个分配错误和 0 个一致性错误。DBCC 执行完毕。如果 DBCC 输出了错误信息，请与

部分参数设置 my.cnfserver-id = 1log_bin = mysql-binbinlog_format = rowexpire_logs_days = 7sync_binlog = 1sync_relay_log = 10000sync_relay_log_info = 10000relay_log_purge = 1relay_log_recovery = 1...

MySQL NDB Cluster是内存集群数据库，可将数据分组分片冗余，由参数NoOfReplicas控制。MySQL NDB Cluster有三种类型的群集节点：管理节点：管理NDB群集中的其他节点，如配置、启动和停止节点、监控、备份等功能。数据节点：存储集群数据，NDB虽是内存数据库，也可定义表空间存储[# of node groups] = [# of data ...

Changes in MySQL 5.7：https://dev.mysql.com/doc/refman/5.7/en/upgrading-from-previous-series.html首先标准化部署：1.数据目录与软件目录要求分开！2.操作系统账户MySQL默认bin目录如下su - mysqlecho 'export PATH=$PATH:/data/mysql/5...

#各个实例端口分配情况27000 ：mongos27001~27003 ：configsvr*327004~27006 ：replSet=rs0(primary+standby+arbiter)27007~27009 ：replSet=rs1(primary+standby+arbiter)replSet=rs0 #复制集shardsvr=true #shard server...

#安装配置mkdir -p /data/postgres/v10.10groupadd postgres && useradd -m -d /data/postgres/home -g postgres postgresmkdir -p /data/pgbackup/{6401,6402}/archivecd /data/postgres/homewget https:...

yum -y install openssl openssl-devel yum -y install zlib ruby ruby-irb rubygemswget https://rubygems.org/downloads/redis-4.0.1.gemgem install redis-4.0.1.gem# Redis 安装配置mkdir -p /data/redis/...

久等了，还是把这次测试补充完整吧！前面已经配置好了 AlwaysOn AG 和Pacemaker ，但是还不能进行故障转移。为了设置高可用，需要添加侦听器，用侦听器去访问数据库。群集资源代理程序 mssql-server-ha 是 Pacemaker 和 SQL Server 之间的接口。现在将创建和配置SQL Server Always On Availability Group的过程，并...

现在将完成 Linux 集群资源管理器 Pacemaker 的安装和配置。Pacemaker 相当于 Windows 中的故障转移群集(WSFC)工具。Linux 环境下部署 always on 的高可用，微软官方推荐使用开源软件 Pacemaker。Pacemaker 适用于大多数Linux发行版，但SQL Server Always On Availability Groups 目前仅在 ...

现可在 Windows 上使用 SSMS 连接 Linux 上的 SQL Server 配置 AlwaysOn AG。1. 在节点 server111实例上创建可用性组，名为 LINUX_SQLAG。Windows Server 故障转移群集：当可用性组托管在属于 Windows Server 故障转移群集的 SQL Server 的实例上时使用，以实现高可用性和灾难恢复。 适...

既然没有了域认证，需要配置证书认证，步骤：1. 启用S​​QL Server Always On Availability Groups功能2. 在所有服务器上为SQL Server Always On Availability Groups安装Linux资源代理3. 在所有Linux服务器启用防火墙上的Always On Availability Group端点端口4. 在主副本上创建...

系统环境：CentOS Linux release 7.6.1810 (Core) +Microsoft SQL Server 2017 (RTM-CU14)SQL Server 2017最多支持9个副本（1个主副本和8个辅助副本），其中最多支持3个自动故障转移和3个同步提交的可用性副本。Linux 环境的AlwaysOn AG 不依赖于 Active Directory，可以在没有...

参考：ALTER INDEX (Transact-SQL)文章摘自：SQL Server 2017 Resumable Online Index RebuildsProblemDatabase performance optimization is always a key task for the DBA. Index maintenance plays a vital role i...

理论参考官网或其他博文吧，官方参考：Group Replication组复制配置很简单，本测试配置 Multi-Primary 模式：# vim /etc/my.cnf[client]port = 3306socket = /tmp/mysql.sock[mysqld]user=mysqlport = 3306server_id = 111socket=/t...

架构：192.168.1.111 master read & write192.168.1.112 slave(candidate) read only192.168.1.113 slave read only192.168.1.114 mha-monitor...

参考：PostgreSQL 11 Backup and Restorepg_dump、pg_dumpall、pg_dumpall 逻辑备份还原---------------------------------------------------------pg_dump 逻辑导出、导入 （https://www.yiibai.com/manual/postgresql/app-pgd...

## 主服务器 ssh 公钥认证创建ssh-keygen -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys## 公钥传到目标服务器（首次输入密码）sshpass -p "centos" ssh root@192.168.1.174 "mkdir ~/.ssh/"sshpass -p "centos" scp ~...

刚好放假事情少了，花了两天时间，把日常巡检报表做好了，已在 github 中开源：PS-MSSQLReporter 。觉得不错的欢迎在 GitHub 中给颗星星。 有时候我们想查看数据库的一些基本信息，但是统计比较麻烦，不好收集和整理。另外一些日常巡检，因为在监控中不会监控一些系统信息，所以只能手动访问数据库查看。Powershell 当前还没有网页开发模块，但有 HTML 相关模块。...

【innodb_flush_log_at_trx_commit】innodb_flush_log_at_trx_commit = 0 ：每秒写入日志缓存(OS缓存)，并且刷新(OS缓存)到磁盘。MySQL进程或者OS挂了丢失1秒的事务数据。innodb_flush_log_at_trx_commit = 1 ：默认值,每次事务提交时写入日志缓(OS缓存)存并刷新(OS缓存)到磁盘。MySQ...

在 Windows 中开发自动化运维，除了 python 就是 powershell了，powershell 与 windows 相关产品关联紧密，Windows 环境下的自动化开发一般使用 powershell ， sql server 亦是如此。 Windows 产品很少有开源产品和工具，因为其封装不对外开放。不过微软将手伸向了 Linux 系统，同时也收购了 GitHub ，powershe...

MySQL-AutoXtraBackup 是 Percona 实验室中的开源工具，是基于 xtrabackup 和 autoxtrabackup 备份的备份工具。如果不是很熟悉 AutoXtraBackup，个人觉得还不如使用 autoxtrabackup 方便，因为 AutoXtraBackup 同样需要配置和了解相关参数。 MySQL-AutoXtraBackup 1.5 安装要求：...

以前版本访问外部数据源使用的是 链接服务器，SQL Server 2019 可以配置 PolyBase 访问 Hadoop、Azure Blob Storage、SQL Server、Oracle、Teradata、MongoDB 。当然需要安装 PolyBase 查询服务。当前配置 PolyBase 访问外部 Mongodb ,参考：Configure PolyBase to acces...

MySQL 中很少提及日志的备份，但日志备份也是非常重要，可以恢复到指定时间点。日志备份可以使用自带的工具 mysqlbinlog 进行备份，mysqlbinlog 也是解析 binlog 的工具。相关参考: Using mysqlbinlog to Back Up Binary Log Files 示例：# 备份指定 binlog 文件(备份的文件名有前缀 "prefix_")...

CentOS 7.2 + Cassandra 3.11 + （Java 1.8 + Python 2.7 ） 单节点集群 Cassandra 属于去中心化P2P的分布式存储系统，支持CAP中的C（consistance）和A（availability），其无单点故障。 系统默认已安装 python2.7 ，Java 1.8 安装参考：Centos 6.5 安装java及设置默认jd...

使用 UseSsl  仍有问题。function SendMailByPowerShell() { param( $To=$null, $Cc=$null, $Bcc=$null, $Subject=$null, $Body=$null, $Attachments=$null ) $From = "username" $FromPwd = ...

安装参考：http://www.nconf.org/dokuwiki/doku.php?id=nconf:help:documentation:start:installation# 下载解压wget https://sourceforge.net/projects/nconf/files/nconf/1.3.0-0/nconf-1.3.0-0.tgz --no-check-certifi...

 【 Nagios 安装配置】安装参考：Nagios Core - Installing Nagios Core From Source# 设置SELINUXsed -i 's/SELINUX=.*/SELINUX=disabled/g' /etc/selinux/configsetenforce 0# 安装必要包yum install -y gcc glibc glibc...

以 Percona-Toolkit-3.0 测试，参考地址：https://www.percona.com/doc/percona-toolkit/3.0/index.html下载地址： https://www.percona.com/downloads/percona-toolkit/LATEST/ pt-align 列对齐 vmstat ...

Top 这款开源ITSM 工具最大的特点是它具备了ITIL 核心思想中的两个中心：服务管理中心和配置管理中心。严密的数据结构和流程关系使得它具有非常高的可集成性，可以将它的CMDB/ 各流程模块与云平台、IT 监控系统、信息安全管理系统、第三方报表平台等进行无缝集成，当前DevOps 解决方案正方兴未艾，iTop 的CMDB模块可以被方便地集成到工具链中。（摘自百科）版本要求：iTop 2...

sysbench 是一款开源的多线程性能测试工具，可以执行CPU/内存/线程/IO/数据库等方面的性能测试。github 下载：https://github.com/akopytov/sysbench/releaseswiki 文档：https://wiki.mikejung.biz/Sysbench 安装部署：yum -y install make automake libt...

Yearning 是基于Inception的web可视化SQL审核平台,其本身只提供可视化交互页面并不具备sql审核的能力。所以必须搭配Inception一起使用。  Inception 安装参考 MySQL 审核工具 Inception。从v1.3.0版本开始将采取docker运行的方式，不再提供普通安装教程，所以本次使用 Docker 部署。 【 Docker 安装 】Dock...

一直打算安装 Inception ，也一直拖到现在，看着 Inception 闭源。有 github 中保存了一份，并且重命名为  SQLaudit 。虽然闭源了，但是还是能用的，现在安装测试。 版本信息：版本信息：CentOS 7 x86_64Inception2.1.50 for Linux on x86_64 (Source distribution)# rpm -q...

MySQL 版本：mysql-community-common-5.7.2x主要变量参考：show master status;show slave status;show global status;show global variables;下面对于用第三方监控工具的，可以进行以下分组，每组在一个监控图像中显示，主要监控status ，也可以把variables 一起...

【influxdb 用户管理】https://docs.influxdata.com/influxdb/v1.7/administration/authentication_and_authorization/#user-management-commands【influxdb API方法】https://docs.influxdata.com/influxdb/v1.7/tools/api/...

系统环境：Centos 7.2 + Prometheus 2.5 + Grafana 5.3 Grafana 安装参考：Grafana 安装Prometheus + Grafana 安装参考：Graphing MySQL performance with Prometheus and Grafana（版本较旧）exporters：Third-party exporters 【p...

插件下载地址：https://www.percona.com/downloads/percona-monitoring-plugins/插件安装参考：https://www.percona.com/doc/percona-monitoring-plugins/LATEST/zabbix/index.html提前安装 zabbix 客户端代理 zabbix_agentd，参考：Zabbix ...

 zabbix 服务器：10.10.10.10  ，当前需要添加到监控的服务器：10.10.10.8 。Zabbix Official Repository：http://repo.zabbix.com/zabbix/在被监控服务器 10.10.10.8 操作：#配置 yum 库（CentOS/RHEL 7）# rpm -Uvh http://repo.zabbix.com/z...

zabbix_get -s 10.10.10.10 -p10050 -k"mysql.version"错误1：sh: mysql: command not found 解决：编辑文件 userparameter_mysql.conf ，将执行命令 mysql、mysqladmin 加上完整路径，如下图：vim /etc/zabbix/zabbix_agentd.d/user...

<schema name="dbname" checkSQLschema="false" sqlMaxLimit="10000" dataNode="ds_5"> <table name="tablename" primaryKey="id" dataNode="ds_$5-6" rule="mod-long-customer"> <...

RDS FOR MySQL 下载至本地还原：参考：https://help.aliyun.com/knowledge_detail/41817.html?spm=a2c4g.11186623.4.3.596e10721NSVa5完整实例：db_rds_backup.tar日志文件：mysql-bin.000512,mysql-bin.000513------------------...

RDS FOR MySQL 下载至本地还原：参考：https://help.aliyun.com/knowledge_detail/41817.html?spm=a2c4g.11186623.4.3.596e10721NSVa5完整实例：db_rds_backup.tar日志文件：mysql-bin.000512,mysql-bin.000513------------------...

我司当前的一个数据库，分了51个数据库及表，使用 Sharding-JDBC 去独立连接。（Sharding-JDBC是Sharding-Sphere的第一个产品，也是Sharding-Sphere的前身。 它定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM...

InfluxDB 属于TICK 系列之一，对象显示很好，但开源只有单机版。当前安装 TICK 进行测试。各资料参考官网。Telegraf（Time-Series Data Collector）： 数据收集InfluxDB （Time-Series Data Storage）：数据存储Chronograf（Time-Series Data Visualization）：WEB 界面管理及...

当前服务器已经安装了 MySQL ，现在为 Mariadb 的安装：# 解压文件# tar zxvf mariadb-10.2.8-linux-x86_64.tar.gz# mv mariadb-10.2.8-linux-x86_64 /usr/local/mariadb# cd /usr/local/mariadb# groupadd --system mariadb# user...

Windows 中安装：Grafana 安装步骤及下载页面： http://docs.grafana.org/installation/windows/NSSM（Non-Sucking Service Manager）下载页面：https://nssm.cc/download 下载并解压到当前目录，如：grafana 配置文件路径（ D:\grafana-5.3.2\con...

鉴于单独导出这些脚本太麻烦，一般都跟着表结构或其他不必要的数据一起导出，因此整理了一个简单的shell脚本，直接随意导出想要的对象的定义。#!/bin/bash# ./output_db_object_definition.sh &gt; /dev/null 2&gt;&amp;1db_user=""db_pwd=""db_host=""db_port=3306db_name="...

 sys.dm_db_page_info 某个数据页的头部信息USE masterGOCREATE DATABASE Test;GOUSE Test;GOSELECT [object_id] as objectid,name,type_desc,create_date,modify_date INTO myobjects FROM sys.objectsGO--------...

Always Encrypted 功能旨在保护 Azure SQL Database 或 SQL Server 数据库中存储的敏感数据，如信用卡号或身份证号（例如美国社会安全号码）。 始终加密允许客户端对客户端应用程序内的敏感数据进行加密，并且永远不向 数据库引擎 （ SQL Database 或 SQL Server）显示加密密钥。 因此，始终加密分隔了拥有数据（且可以查看它）的人员与管理数据（...

#!/usr/bin/env python# -*- coding: utf-8 -*-# python 3.5import reimport osimport smtplibfrom io import StringIOfrom validate_email import validate_emailfrom email.mime.text import MIMETextf...

执行 datax 作业，创建执行文件，在 crontab 中每天1点（下面有关系）执行：其中 job_start 及 job_finish 这两行记录是自己添加的，为了方便识别出哪张表。#!/bin/bashsource /etc/profileuser1="root"pass1="pwd"user2="root"pass2="pwd"job_path="/opt/datax...

更多介绍参考官网：http://www.lepus.cc/参考官方文档，以 Xampp 集成安装相关软件。Xampp下载地址：https://www.apachefriends.org/download.html 下载安装 Xampp  (Apache 2.4.33, MariaDB 10.1.32, PHP 5.6.36 , Perl v5.16.3)# cd /opt/...

Anemometer 是一款开源的（慢查询）日志监控平台，当前主要用于 MySQL 的慢查询日志跟踪。Anemometer 演示地址：http://lab.fordba.com/anemometer/Anemometer 项目地址：https://github.com/box/Anemometer 需要工具：MySQL （用于保存收集的各数据库慢查询日志）pt-query-d...

#保存 cookie 到变量import urllib.requestimport http.cookiejarcookie = http.cookiejar.CookieJar()handler = urllib.request.HTTPCookieProcessor(cookie)opener = urllib.request.build_opener(handler)respon...

打开携程网，查询机票，如广州到成都。这时网址为：http://flights.ctrip.com/booking/CAN-CTU-day-1.html?DDate1=2018-06-15其中，CAN 表示广州，CTU 表示成都，日期 “2018-06-15”就比较明显了。一般的爬虫，只有替换这几个值，就可以遍历了。但观察发现，有个链接可以看到当前网页的所有json格式的数据。如下http://fl...

临时表是 ANSI SQL 2011 中引入的数据库功能。版本由系统控制的临时表是用户表的一种类型，旨在保留完整的数据更改历史记录，并实现轻松的时间点分析。 这种类型的临时表之所以称为版本由系统控制的临时表，是因为每一行的有效期由系统（即数据库引擎）管理。（官方文档直接翻译为临时表，为了区分这类临时表 #table_name，以下直接称呼 Temporal tables ）Temporal tab...

查看或安装#svnserve --version #yum -y install subversion 创建一个版本仓库 myrepo，svn为跟目录#mkdir -p /opt/svn/myrepo#svnadmin create /opt/svn/myrepo添加用户和密码#vim /opt/svn/myrepo/conf/passwd[users]#usern...

【文件共享-nfs】如：将 /192.168.1.171/root/share/ 共享，挂载到 192.168.1.172 的目录/root/share/安装 nfs：yum -y install nfs-utils rpcbindchkconfig rpcbind onchkconfig nfs onservice rpcbind startservice n...

文章转自此网站：http://sqlserverbuilds.blogspot.hk/ （由于需要翻墙，特此摘抄过来。文章更新于 2018-11-16）补丁安装及说明，参考本人另一篇文章：SQLServer 怎么升级补丁？ What version of SQL Server do I have?This unofficial build chart lists all of th...

mysql：create database grafana;create user grafana@'%' IDENTIFIED by 'grafana'; grant all on grafana.* to grafana@'%'; flush privileges; Grafana：（本地mysql）# vi /etc/grafana/grafana.ini[database]...

-- 启用扩展脚本，重启服务exec sp_configure 'external scripts enabled',1reconfigurego--简单实例EXEC sp_execute_external_script @language = N'Python', @script = N'print(1+3,"kk")'goSQL Server 数据传递到 Python 中（默认...

推荐一款客户端命令行工具 mssql-cli。mssql-cli 是一款开源工具，该工具可在 Linux 系统和 Windows 系统中运行，命令使用类似 sqlcmd。相比 sqlcmd，mssql-cli 安装简单（需要先安装python），提示、显示更丰富。mssql-cli 特性：自动补全语句高亮执行历史查询支持配置文件多行查询开源地址：mssql-cli安装介绍：Installation...

Centos：-------------------------------------------------------#创建用户(默认创建同名组)useradd myuser1adduser -g mysql myuser2adduser -d /home/myuser3 -p 123456 myuser3adduser -g root -G mysql,postgres myus...

FLUSH 会写入日志，同步到副本，需要 RELOAD 权限。FLUSH LOGS, FLUSH TABLES WITH READ LOCK, FLUSH TABLES tbl_name ... FOR EXPORT 不会写入日志文件。官方参考：FLUSH [NO_WRITE_TO_BINLOG | LOCAL] { flush_option [, flush_option] ... ...

--检查是否支持 partition mysql&gt; show plugins;mysql&gt; select plugin_name, plugin_version, plugin_status from information_schema.plugins;+----------------------------+----------------+---------------+...

正常情况下，死锁发生时，权重最小的连接将被kill并回滚。但是为了找出语句来优化，启用可启用死锁将死锁信息记录下来。#step 1：窗口一mysql&gt; start transaction;mysql&gt; update aa set name='aaa' where id = 1;#step 2：窗口二mysql&gt; start transaction;mysql&gt; ...

show binary logs; #显示当前日志文件show variables like '%log_%';show variables like 'expire_logs_days';#轮询切换新日志文件flush logs; mysqladmin -u root -p flush-logsmysqladmin -u root -p refresh#日志过期清除天...

很早之前保存的，出处没记录~SELECT /*S.job_id,*/ S.job_name, S.is_job_enabled, S.is_schedule_enabled, S.schedule_name, S.Description ,avg_duration_in_seconds = avg(datediff(s, '1/1/2000', ('1/1/2000 ' + cast(st...

查看插件：mysql&gt; show plugins;mysql&gt; select plugin_name,plugin_status,plugin_type,load_option,plugin_library from information_schema.plugins;默认插件目录：mysql&gt; show variables like 'plugin_dir';+----...

5.7 默认模式：ONLY_FULL_GROUP_BY, STRICT_TRANS_TABLES, NO_ZERO_IN_DATE, NO_ZERO_DATE, ERROR_FOR_DIVISION_BY_ZERO, NO_AUTO_CREATE_USER, NO_ENGINE_SUBSTITUTION,5.7.4 废弃：ERROR_FOR_DIVISION_BY_ZERO5.7.5 默...

以下考虑主要为 Innodb 引擎, key_buffer_size 不考虑。对于实例级别或线程级别参数设置,暂不考虑。【 innodb_buffer_pool_size 】 用于缓存 索引 和 数据的内存大小, 这个当然是越多越好, 数据读写在内存中非常快, 减少了对磁盘的读写。 当数据提交或满足检查点条件后才一次性将内存数据刷新到磁盘中。然而内存还有操作系统或数据库其他进程使用, 一般设置 b...

Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用 Jinja2 。官方建议使用 Python 2.6 或 2.7 开发， Python 3 还有些问题没解决。如已安装有 Python 3 了，可以使用 virtualenv 创建使用 python 2.7 的虚拟环境。示例比较简单，使用的数据库为 sqlite，因此先安...

python 中当某个函数已经存在了，想在函数前执行相应的操作，但又不希望改掉原函数的定义，利用修饰符（Decorator）可实现该功能。一个基本的函数，可以直接执行调用，或者赋予变量再调用：class TEST: def func(self): print("func") if __name__ == "__main__": t = TEST() t.func() #print ...

实现原理：1. 使用 selenium 模拟自动打开 chrome浏览器；2. （浏览器打开后）会自动填写账号密码，手动选择验证码并提交；3. 自动跳转选择“预定”及其单程购票设置；4. 循环查询余票：先按顺序查询所有车次二等座，没有再按顺序查询无座，如此循环；5. 发现余票后自动预定，并选择第一个乘客提交订单。注意：提交订单后若没有余票，不会自动返回（没写完整）。此外，如果失败，又得重头再来，尝...

刚好本地数据库有各省市县/区的数据，现在打算统计一下各个城市的县区数量，并以热力图在地图上显示。（部分数据如下）本测试使用的是百度地图，首先先到百度地图开发平台注册一个个人开发账号。然后创建两个用于：服务端和浏览器端，每个应用都会有一个访问应用（AK），属于个人私钥。服务端应用主要用于根据城市读取经纬度，浏览器端应用主要用于地图显示，这两个的应用别搞错。（可能错误：百度未授权使用地图API）对于经...

HTML 调用百度地图出现错误：百度未授权使用地图API，可能是因为您提供的密钥不是有效的百度LBS开放平台密钥，或此密钥未对本应用的百度地图JavaScriptAPI授权。您可以访问如下网址了解如何获取有效的密钥：http://lbsyun.baidu.com/apiconsole/key#。解决方法：调用百度地图时，需要提供 访问应用（AK）。对于个人测试，可以登录百度开发平台（http://...

from PIL import Imagestr = """@%&amp;#*?-_+~!;:,"^`'.""" #从左至右，字符密度递减img = Image.open(r'D:/Python35/mypy/onpiece.jpg')img = img.resize((int(img.size[0]*0.5), int(img.size[1]*0.3)))#缩小(width,height)...

# coding:utf-8import osimport cv2from PIL import Image#选择分类器模型(下载地址：https://github.com/opencv/opencv/tree/master/data/haarcascades)classifier = cv2.CascadeClassifier(r'./opencv-master/data/haar...

示例：import cv2import screeninfo#下载别人训练好的分类器模型classifier = cv2.CascadeClassifier(r'./opencv-master/data/haarcascades/haarcascade_frontalface_default.xml')#读取本地用于识别的图片img = cv2.imread(r'./girl.jpg...

原本有公司提议给业务系统加上水印，工作人员拍照可自动打上水印。同事开玩笑说应该给整个屏幕打上水印——“物理水印”。直接在显示器上设置水印？这不显示，想想python能不能实现，果然有人用python实现过。屏幕出现水印后，各个应用程序仍然可点击操作。主要模块：pip install tkinterpip install pypiwin32脚本：（文件名：watermark.py）import t...

信息熵：生活中的所见所闻，都接触到许许多多的信息，有的信息对我们有用，有的无用。如 “地球是自转的”，这条信息对我们没什么用，因为我们都知道，而且是确确实实是这样的。香农用信息熵的概念来描述信源的不确定度，变量的不确定性越大，熵也就越大。 在某个事件中，如果不发生的概率为0，那么可以确定信息熵为0，当发生的概率为1时，属于确定性事件，同样信息熵为0。只有当发生的概率为0.5

多元函数拟合。如 电视机和收音机价格多销售额的影响，此时自变量有两个。python 解法：import numpy as npimport pandas as pd#import statsmodels.api as sm #方法一import statsmodels.formula.api as smf #方法二import matplotlib.pyplot as plt

通过 1至10 阶来拟合对比 均方误差及R评分，可以确定最优的“最大阶数”。import numpy as npimport matplotlib.pyplot as pltfrom sklearn.preprocessing import PolynomialFeaturesfrom sklearn.linear_model import LinearRegression,Perc

import numpy as npimport pandas as pdimport matplotlib.pyplot as plt import matplotlib.patches as mpatchesfrom scipy.interpolate import splinex = np.arange(-5,11)y = x**3 + 2*(x**2) + x + 2y2

一元一阶线性拟合：假设存在一条线性函数尽量能满足所有的点：y=ax+b .对所有点的的公式为：  残差值β = 实际值y - 估计值y，β 应尽量小，当 β = 0 时，则完全符合一元线性方程：y=ax+b   通过最小二乘法计算残差和最小：   根据微积分，当 Q 对 a、b 的一阶偏导数为了0时，Q 达到最小。  

当做笔记：身份证地区查询，网络上的查询网站也比较多。现在查询数据库中的身份证，识别其中的信息。主要通过该网站：http://www.gpsspg.com/sfz/脚本：#-*- coding: utf-8 -*-# python 3.5.0import sqlalchemyimport pandas as pdfrom selenium import webdriver

原始数据，如按年龄离散化 。首先元素各值频数的分布。 WOE（Weight of Evidence）反映了自变量对因变量的预测能力。IV（Information Value）在预测模型中选择最重要的变量是最有用的技术之一。用于根据变量的重要性排列变量。 简化：结果： IV 值经验规则： IV  

卡方检验是一种用途很广的计数资料的假设检验方法。它属于非参数检验的范畴，主要是比较两个及两个以上样本率( 构成比）以及两个分类变量的关联性分析。其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。（更多参考：卡方检验、卡方分布） 不讲过多理论，主要使用 python 实现卡方验证。之前对于元素/特征/属性 异常值的选择情况，可以使用直方图、箱型图、Z分数法等筛选。如 

探索性数据分析，主要针对原始数据进行初次了解。了解数据的分布情况、了解分析的方向灯。此脚本读取的是 SQL Server ，只需给定表名或视图名称，如果有数据，将输出每个字段符合要求的每张数据分布图。# -*- coding: UTF-8 -*-# python 3.5.0# 探索性数据分析(Exploratory Data Analysis,EDA)__author__ = '

对于股票市场长期的判断，普通上班族没有多少时间和资料可以分析。那么，就应该借助基金机构选择的股票来分析，借助各基金经理管理的股票基金来统计，哪些股票是基金经理或团队分析购买的。所以选择的是股票型基金，最终将分析得出哪类股票是机构最多选择的，那只股票是机构购买最多的。利用基金经理们分析的结果，我们可选择相应的几只股票进行长期投资。先看看股票型基金，然后遍历某基金的股票持仓。

Pandas 是 python的一个数据分析包，它提供了大量的数据模型型和函数库，对数据处理很方便。DataFrame 是一个二维表格数据结构，可以当做数据库中的一张关系表。Pandas 可以实现 SQL 中的语句，对 DataFrame  的操作相当于对二维表操作一样。还是以股票某天的分笔记录为例。之前数据进行处理已经导入数据库。import numpy as npim

Tushare 是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。

在测试mysql备份文件是否可正常还原时，即将备份文件还原到另一台服务器实例上，出现了一系列的错误。其中的错误如下：[Err] 1153 - Got a packet bigger than 'max_allowed_packet' bytes[Err] 1046 - No database selected[Err] 1231 - Variable 'collation_connection' ...