- 博客(18)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 数据科学与统计学之时空建模-空间数据建模
空间数据建模In real world datasets, particularly in climate and environmental problems, we often have measurements at a specified number of locations (in space and/or time), and will often need to make predictions of the output at unmeasured locations (for exam
2021-08-29 01:25:35
1151
原创 使用JAGS训练贝叶斯回归模型
Fitting Baysian Regression Models Using JAGsIn Baysian statistics I use samples from the posterior distribution to answer inferential questions. The samples are generated by a Markov chain whose stationary distribution is the posterior. What this means is
2021-08-24 16:04:04
979
原创 简单介绍使用 JAGS 进行蒙特卡罗模拟
Introduction to Monte Carlo simulation using JAGSThis practical gives an introduction to the Monte Carlo method using JAGS (Just Another Gibbs Sampler). First we have to install some R packages that act as frontenda for JAGS:R2jags allows fitting JAGS m
2021-08-18 05:26:17
1774
原创 2.特征工程介绍
特征工程特征抽取数据特征的预处理特征选择为什么需要特征工程样本数据中的特征有可能会出现缺失值、重复值、异常值等，那么我们需要对特征中的噪点数据进行处理，处理的目的就是为了得到更加纯净的样本集，让模型基于这组数据可以有更好的预测能力。什么是特征工程？特征工程就是将原始数据转换为更好的代表预测模型的潜在问题的特征的过程，从而提高对未知数据预测的准确性：比如如果AlphaGO学习的数据中既有棋谱，又有食谱，还有歌词，那么这些干扰的数据肯定会影响AlphaGo的学习。
2021-08-05 04:56:39
323
原创 1. 机器学习概述
机器学习简介祖师爷艾伦图灵，人工智能之父，图灵测试；人工智能和机器学习的区别？机器学习就是实现人工智能的一种技术手段什么是机器学习官方解释：从数据中自动分析获得规律（模型），并利用规律对未知数据进行预测。白化解释：模型：算法模型，是一个特殊的对象。该算法模型对象中已经集成或者封装好了某种形式的算法（但是还没有求出解）。模型的作用：预测：可以通过算法产生一个新的未知的数据；分类：可以将一个未知归类的事物将其归类到一个已有的类群中；注意：算法模型对
2021-08-03 04:53:21
127
原创 Python- 简单的线性回归模型
在Python中使用线性回归算法Scikit-Learn 涵盖了主流的机器学习算法，我们先介绍常用的几个库：lienar_model:线性模型算法库，包括Logistic回归算法等；neighbors:最邻近算法库；naive-bayes:朴素贝叶斯算法库；tree:决策树算法；svm:支持向量机算法；neural_network:神经网络算法。如下，简单解释线性回归算法。其数学表达式如下：y^=Wx\boldsymbol{\hat y} = \boldsymbol{W} \bolds
2021-06-16 09:13:04
843
原创 Go语言数据科学-将内存中的数据缓存到本地
package main// 将内存中的数据备份到本地，方便程序退出后仍然能够访问数据import ( "fmt" "log" "github.com/boltdb/bolt")func main() { db, err := bolt.Open("my.db", 0600, nil) if err != nil { log.Fatal(err) } defer db.Close() // 创建表 err = db.Update(func(tx *bolt.Tx) er
2021-06-15 01:16:12
372
原创 Go语言数据科学-内存中缓存数据
Go语言在内存中缓存并读取数据package mainimport ( "fmt" "time" "github.com/patrickmn/go-cache")// go语言在内存中缓存数据// 针对缓存中指定的键值对设置生存时间// 创建一个缓存，默认时间5min，每30s刷新func main() { c := cache.New(5*time.Minute, 30*time.Second) c.Set("myKey", "myValue", cache.DefaultE
2021-06-14 00:15:51
263
原创 Go语言数据科学-解析JSON文件
Go语言处理JSON数据，本文使用CitiBike数据为例。package main// 解析JSON数据import ( "encoding/json" "fmt" "io/ioutil" "log" "net/http")// citiBikeURL 提供了CitiBike共享单车的站点信息const citiBikeURL = "https://gbfs.citibikenyc.com/gbfs/en/station_status.json"// 定义station结
2021-06-13 11:33:37
198
原创 Go语言数据科学-CSV文件处理
主要使用 encoding/csv 来解析 csv 文件。同时简单使用dataframe包更快速地操作CSV文件。package mainimport ( "fmt" "log" "os" "github.com/kniren/gota/dataframe")func main() { // 打开CSV文件 irisData, err := os.Open("D:/Code/Datasets/iris.csv") if err != nil { log.Fatal(err)
2021-06-13 11:30:30
399
原创 Study Notes- Smoothers and Generalised Additive Models
PreliminariesPreliminariesIn this practical we will do some model checking and model choice in R.We need the following packagesggplot2 - Package to implement the ggplot language for graphics in R.tidyverse - This package is designed to make it easy t
2021-06-03 17:32:11
275
原创 Python数据分析-PCA
Handwritten digitsfrom sklearn.datasets import load_digitsdigits= load_digits()digits.keys()dict_keys(['data', 'target', 'target_names', 'images', 'DESCR'])digits.images.shape(1797, 8, 8)digits.images[0,:,:]array([[ 0., 0., 5., 13., 9., 1
2021-05-21 14:37:00
301
原创 MySQL 使用Percona进行备份与恢复
一、安装Percona1.1. 安装依赖包wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo1.2. Percona官网下载软件并安装二、Percona介绍Percona是物理备份工具，拷贝数据文件，比mysqldump快很多；原生态支持全备和增量。2.1InooDB表：热备份：业务正常发生的时候可以进行备份，影响比较小的备份方式；1....
2021-05-19 00:27:37
455
1
原创 基于 Scrapy-Redis 全国房源信息抓取系统
基于 Scrapy-Redis 全国房源信息抓取系统摘要近几年，人们对房源信息的关注度越来越高。如何对全国房源信息进行灵活高效的采集并存储，对全国房源信息的分析工作起到重要作用。文中在分析房天下站点特征结构的基础上采用 Python 开源框架 Scrapy 搭配 Redis 数据库，设计实现了一套抓取速度快、扩展性高的分布式爬虫系统，获取的数据具有良好的实时性和准确性，为后续分析工作提供了有力的数据支撑。关键字 ：Scrapy 框架；Scrapy-Redis；分布式爬虫；可视化前言爬虫技术，无论是
2021-05-18 01:11:37
568
1
原创 Go语言学习基础-学生管理系统的实现
1. 编写 main.go 程序package mainimport ( "fmt" "os")var smr stuMgr //声明一个全局的全局变量学生管理smr// 菜单函数func showMenu() { fmt.Println("------------Welcome to sms!---------------") fmt.Println(` 1. 查看所有学生 2. 添加学生 3. 删除学生 4. 修改学生姓名 5. 退出 `)}func mai
2021-05-17 00:28:49
335
原创 Python数据分析（一）：Basic、numpy、matplotlib和pandas介绍
Basic knowledgeconditionalsifelifelsemark= 56if mark>= 69.5: print("distribution")elif mark>= 59.5: print("merit")elif mark>= 50.0: print("pass")else: print("Fail")passLoopsforwhilebreaknumbers= [1,2,3,4,5,6]
2021-05-16 21:40:12
295
原创 MySQL 学习笔记
MySQL数据库介绍及安装官方定义MySQL DBA工作内容运维DBA初级：各版本、各平台安装搭建、升级中级：体系结构原理、基础管理（启动关闭、初始化配置文件管理、多实例管理、用户权限管理、基本SQL（增删改查））、日志管理、备份与恢复、主从复制（构建、状态监控）高级：高可用（MGR、InnoDB Cluster）、高性能（优化）开发DBA懂至少一门开发语言 ：JAVA、Python基本SQL语句深入学习（增删改查）、数据库结构设计（建模）高级SQL：存储过程、函数、触发器、视图、事件
2021-05-07 11:52:44
693
原创 MySQL 8 show databases时报错：ERROR 1449 (HY000)
mysql>show databases;时显示错误：ERROR 1449 (HY000): The user specified as a definer ('mysql.infoschema'@'localhost') does not exist解决方案：mysql> CREATE USER 'mysql.infoschema'@'localhost' IDENTIFIED BY 'password';Query OK, 0 rows affected (0.00 sec)
2021-04-11 11:02:55
1025
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人