数据库
晓东邪
扎实基础,记录学习点滴。
展开
-
py2neo操作neo4j
docker run -it -d -p 7474:7474 -p 7687:7687 neo4j:3.4http://localhost:7474/browser/neo4j/neo4j# -*- coding: utf-8 -*-# @Author: xiaodong# @Date : 2020/7/20import jsonfrom py2neo import NodeMatcherfrom py2neo import Graph, Node, Relationship原创 2020-07-20 18:35:52 · 517 阅读 · 0 评论 -
redis批量插入
文章目录Redis 批量插入数据逐条插入批量插入Redis 批量插入数据业务需要,每天要向redis插入千万级别的数据,格式为zset,但是插入数据时发现速度极慢,约为200~300条数据/每秒, 这可就不能接受了,这么算下去插入6千万数据得两年。。。官方给出的是写入速度可以达到10w每秒,这相差的可不是一点两点,虽然插入的是zset,怎么滴速度也不能跟官方差这么大吧,我用本机环境测试,发现速...原创 2020-04-27 15:40:04 · 4438 阅读 · 0 评论 -
python 操作数据库-pandas篇
python 操作数据库-pandas篇# -*- coding: utf-8 -*-# @Author: xiaodong# @Date : 2020/4/5from collections import Counterfrom functools import reduceimport pymysqlimport pandas as pdfrom sqlalchemy i...原创 2020-04-05 17:58:20 · 391 阅读 · 0 评论 -
python` 操作数据库-`mysql`篇
文章目录1. `pymysql`操作数据库2.可视化工具推荐python操作数据库-mysql`篇1. pymysql操作数据库# -*- coding: utf-8 -*-# @Author: xiaodong# @Date : 2020/4/3import osimport pymysqlfrom python_executor_db.utils import (csv...原创 2020-04-05 17:42:40 · 273 阅读 · 0 评论 -
使用pyspark操作数据库
文章目录使用`pyspark`操作数据库1.`sqlite`篇使用pyspark操作数据库1.sqlite篇# -*- coding: utf-8 -*-# @Author: xiaodong# @Date : 2020/4/4from pyspark.sql import SparkSessionif __name__ == '__main__': spark = ...原创 2020-04-04 23:22:14 · 1199 阅读 · 0 评论 -
python 操作数据库-sqlite篇
作为一名数据挖掘工程师,除了挖掘算法外,最常打交道的就是各类数据库了,为了对自己的工作做个记录,准备对接触到的数据库及相关工具做个通述,因为只是做个引导,所以不会深入去讲,供查阅使用~targetgo on…todosqlite√mysql√redis√mongodb√postgresql&greenplum√ora...原创 2020-04-04 11:28:25 · 265 阅读 · 0 评论 -
pyspark 概述
一、pyspark安装略import pysparkpyspark.__version__#>>> '2.4.3'from pyspark.sql import sparkSessionspark = sparkSession.builder.appName("your app name").getOrCreate()rdd = spark.spark...原创 2020-03-28 15:22:47 · 348 阅读 · 0 评论 -
Postgresql (GreenPlum) psycopg2的批量数据插入
psycopg2 数据批量插入问题记录由于最近用到greenplum,需要进行一些数据库批量插入操作,由于其操作方式与postgresql相同,因此采用的是psycopg2(2.8.4) 做底层驱动。由于数据量较大,所以采用了批量插入操作,也就是其自带的executemany,从名字来看会给我们其真的是批量插入的错觉(搜了下,大部分搜索结果也是说批量插入使用该操作,坑~(⊙﹏⊙)),但是,实际...原创 2020-01-20 10:24:11 · 1968 阅读 · 0 评论 -
数据库常用操作汇总
原创 2019-06-17 18:45:48 · 150 阅读 · 0 评论 -
Redis 可视化界面工具
TreeNMS 下载的时候注意,上面的是MySQL,MongoDB等等用的,下面那个才是For Redis 该可视化界面工具是国人用Java写的,虽然官网有点随意,不过软件还是挺好用的。...原创 2018-09-06 14:54:02 · 836 阅读 · 0 评论 -
python连接mongodb数据库
最近用到了MongoDB,需要从数据库中读取数据,按照《利用python进行数据分析》的代码#pip install pymongo 首先安装pymongo(MongoDB官方驱动器)import pymongocon = pymongo.Connection('localhosst',port=27017)然后就华丽丽的报错了,错误显示,没有connection属性, dir(pymongo原创 2016-10-21 14:14:54 · 10800 阅读 · 0 评论 -
数据库事务
1、事务(Transaction)是并发控制的基本单位。所谓的事务,它是一个操作序列,这些操作要么都执行,要么都不执行,它是一个不可分割的工作单位。例如,银行转账工作:从一个账号扣款并使另一个账号增款,这两个操作要么都执行,要么都不执行。所以,应该把它们看成一个事务。事务是数据库维护数据一致性的单位,在每个事务结束时,都能保持数据一致性。针对上面的描述可以看出,事务的提出主要是为了解决并发情况下保持转载 2017-05-27 00:41:02 · 8908 阅读 · 0 评论 -
MySQL 密码忘记
使用MySQL如果忘记密码是件烦心的事情,可以通过如下方式重置密码:主要针对Windows系统:1.以系统管理员身份登陆系统。 可以 按windows键 搜索 cmd,右键点击以管理员身份运行。或者windows+R后输入cmd打开后按键shift并点击任务栏cmd2.打开cmd net start 查看mysql是否启动。启动的话就停止net stop mysql.3.定位MySQL安原创 2017-08-17 14:32:08 · 567 阅读 · 0 评论 -
常用sql语句(mysql)
#给表新增列sql = ''' alter table table_name add column col_name varchar(255) not null default default_value'''#增加表列,指定格式sql = ''' alter table table_name add col_na原创 2017-11-15 15:18:43 · 445 阅读 · 0 评论 -
pandas中read_sql(read_sql_query)中文字符乱码问题
使用pandas读取数据库时,由于存储有汉字,开始读取时发现汉字被乱码显示,如下:In [70]: import pymysqlIn [71]: conn = pymysql.connect(host='localhost', port=3306, user='root', password='123456', db='test')In [72]: import pandas as pdIn [73原创 2017-11-07 17:52:10 · 12012 阅读 · 0 评论 -
pymysql 提交sql语句报错问题
with conn: cursor = conn.cursor() for i in range(testnow.shape[0]): dx, dy, oc, ot, x, y, house_id = testnow.iloc[i:i+1].values[0] print ( house_id, dx, dy, oc, ot, x, y)原创 2017-11-06 17:58:52 · 2015 阅读 · 0 评论