大数据
ACE-Mayer
这个作者很懒,什么都没留下…
展开
-
pandas学习笔记----日期时间类型数据运算
有些项目需要计算日期或时间差,利用pandas可以方便的实现。例如有一字符串类型的日期时间列表interval,要计算列表中所有如期时间与指定日期时间的时间差:import pandas as pdinterval=pd.to_datetime(interval_time)print(type(interval))se_interval=pd.to_datetime('1970-01-01 08:00:00')print(type(se_interval))time_inter=(inter原创 2021-01-12 16:42:01 · 1127 阅读 · 0 评论 -
解决TypeError: No conversion path for dtype: dtype(‘<U39‘)错误
在将数据写入h5文件时,出现了如提所示错误,发现写入数据包含字符串时就会报这个错误。目前有两个解决方法,一个是将字符串型数据保存到其它格式文件,如pickle文件,txt等;另一种是将字符串数据进行转换,然后再写入h5文件:img_dir_name_list_encode=[]for j in img_dir_name_list: img_dir_name_list_encode.append(j.encode())使用时(h5文件取出后),再转换一下就可以了:img_dir_name原创 2020-12-23 16:51:28 · 2504 阅读 · 0 评论 -
Ubuntu部署Neo4j远程服务
目录1、安装neo4j2、配置neo4j.conf1、安装neo4j请参考以前博客。2、配置neo4j.conf按下图配置,我的版本是4.03。#*****************************************************************# Network connector configuration#*****************************************************************# With def原创 2020-09-03 17:26:18 · 297 阅读 · 0 评论 -
Ubuntu安装neo4j
目录1. 安装java2. 安装neo4j2.1 下载neo4j2.2 安装neo4j2.3 验证neo4j已安装成功1. 安装java参考安装教程。2. 安装neo4j2.1 下载neo4j百度盘: https://pan.baidu.com/s/1bCQM0mSl3xeI4aR6Ja4eEw提取码:esl12.2 安装neo4j将压缩包解压到/usr/local/neo4j即可2.3 验证neo4j已安装成功进入到执行文件所在目录,即:/usr/local/neo4j/neo4j原创 2020-08-31 23:28:20 · 613 阅读 · 2 评论 -
win10安装neo4j及其基本使用
目录1. 安装Java JDK2. 安装neo4j2.1 下载neo4j2.2 安装neo4j2.3 验证安装成功3. 注册neo4j服务1. 安装Java JDK请参考Java JDK安装教程(我安装的java版本为1.8.0_216,1.8以上的版本应该都行)2. 安装neo4j2.1 下载neo4j百度盘:https://pan.baidu.com/s/1VXr66aAPwvWFRB6hKHkq5g提取码:wgey2.2 安装neo4j将下载好的neo4j解压到某一目录下,我直接放到原创 2020-08-31 23:09:34 · 582 阅读 · 0 评论 -
neo4j web界面执行CQL报Error18 SecurityError解决方法
我的neo4j版本是4.0.3,在服务器中配置好后远程可以登录连接,输入初始账号和密码后也成功进入,但执行自带案例代码时出错了:Error18 SecurityError。解决办法:找到配置文件,取消注释如下图所示的一行,并将localhost改为服务器的IP即可。...原创 2020-08-28 11:32:02 · 437 阅读 · 0 评论 -
Win安装Redis2.4.11
目录1、下载Redis2、打开VS进行编译3、打开Redis数据库服务和Redis客户端今天想装装Redis玩玩,无奈怎么也连不上GitHub,好不容易在gitee找到一个,还是基于2.4.11版本的。简单记录一下。1、下载Redis将项目文件压缩包下载并解压,地址:https://gitee.com/sunmingyang1987/redis2、打开VS进行编译readme上说用2013,我用的2015也成功了。用VS2015打开RedisServer.sln项目可以看到有6个项目然后选原创 2020-08-16 19:01:02 · 207 阅读 · 0 评论 -
MongoDB常用命令
目录一、操作MongoDB数据库1、创建数据库2、查看所有数据库3、查看当前正在使用的数据库4、断开连接5、查看命令api6、删除数据库二、集合操作1、查看当前数据库下有哪些集合2、创建集合3、删除当前数据库中的集合4. 集合重命名5. 获取集合对象三、文档操作1、插入文档2、查询文档1)比较操作符2)范围操作符3)逻辑操作符3、删除文档4、更新文档一、操作MongoDB数据库1、创建数据库语法:use 数据库名注意:(1)如果数据库不存在,则创建;反之则切换到指定数据库(2)如果刚刚创建的数据库原创 2020-08-16 17:35:03 · 246 阅读 · 0 评论 -
Win10安装MongoDB及基本配置
目录1、下载MongoDB2、安装3、基本配置注意使用中不要将该cmd窗口关闭,关闭后MongoDB服务也会关闭。4、用cmd作为客户端链接MongoDB服务1、下载MongoDB在官方网站下载MongoDB,选择想安装的版本进行下载,最新版为4.4.0,此处选择社区版的4.0.192、安装创建安装目录文件夹,例如:C:\Program Files\MongoDB,将下载的安装包复制到该目录,双击进行安装:安装过程比较简单,选择custom方式进行安装,可以对安装位置以及database和日志原创 2020-08-16 16:36:34 · 763 阅读 · 0 评论 -
python查询mysql表
import pymysqlconn = pymysql.connect(host="localhost",port=3306,user="root",password="mysql",db="smy_db")cur = conn.cursor()sql_0="describe score;"sql_1="select * from score;"sql_2="select * from score where score>80;"flag=1 #第一次先让flag=0,显示scor原创 2020-08-15 14:33:35 · 894 阅读 · 0 评论 -
python删除mysql表中数据
import pymysqlconn = pymysql.connect(host="localhost",port=3306,user="root",password="mysql",db="smy_db")cur = conn.cursor()sql_0="describe student;"sql_1="select * from student;"sql_2="delete from student where stu_no=2016004;"flag=0 #第一次先让flag=0原创 2020-08-15 14:17:45 · 2436 阅读 · 1 评论 -
python更新mysql表
import pymysqlconn = pymysql.connect(host="localhost",port=3306,user="root",password="mysql",db="smy_db")cur = conn.cursor()sql_0="describe student;"sql_1="update student set address='山东济南' where stu_no=2016004;"sql_2="select * from student;"flag=原创 2020-08-15 14:11:05 · 484 阅读 · 0 评论 -
python操作mysql表格-插入数据
import pymysqlconn = pymysql.connect(host="localhost",port=3306,user="root",password="mysql",db="smy_db")cur = conn.cursor()sql_1="insert into student values('2016004','王五','山东青岛');"sql_2="select * from student;"try: cur.execute(sql_1) # 执行sql语原创 2020-08-13 22:52:58 · 572 阅读 · 0 评论 -
python创建mysql数据库中的表
import pymysql#参数一:服务器IP#参数二:端口号#参数三:用户名#参数四:用户密码#参数五:数据库名conn = pymysql.connect(host="localhost",port=3306,user="root",password="mysql",db="smy_db")#创建一个cursor对象,由cursor对象执行SQL语句以及获得执行结果cur = conn.cursor()sql_1="drop table if exists table_test原创 2020-08-13 22:48:40 · 764 阅读 · 0 评论 -
python连接SQL数据库
直接看代码的注释吧import pymysql#参数一:服务器IP#参数二:端口号#参数三:用户名#参数四:用户密码#参数五:数据库名conn = pymysql.connect(host="localhost",port=3306,user="root",password="mysql",db="smy_db")#创建一个cursor对象,由cursor对象执行SQL语句以及获得执行结果cur = conn.cursor()sql="show tables;"cur.execut原创 2020-08-13 22:19:03 · 436 阅读 · 0 评论 -
利用Python脚本开发Hadoop的MapReduce大数据分析应用
目录1、编写mapper和reducer程序2、待统计文件和输出文件目录3、执行数据分析操作Hadoop是用JAVA开发的,可以利用JAVA开发数据分析应用的jar包,但也支持C++或Python来开发数据分析应用。本文以wordcount应用为例,阐述利用Python脚本开发Hadoop的MapReduce大数据分析应用过程。1、编写mapper和reducer程序mapper.py代码如下所示:#!/usr/bin/env python3import sysfor line in sys.原创 2020-08-09 17:46:20 · 763 阅读 · 0 评论 -
解决Hadoop的datanode为0问题:There are 0 datanode(s) running and no node(s) are excluded in this operation.
最近接触了Hadoop,在练习把本地文件系统的“/home/hadoop/myLocalFile.txt”上传到HDFS中时出现了如题所述错误,目前原因不详,但是按照以下方法成功解决了我的问题:第一步:停掉Hadoop:在Hadoop安装目录下执行:./sbin/stop-dfs.sh第二步:找到dfs/data下的current文件夹,将其删除rm -r xxx/dfs/data/current #xxx根据实际情况而定,每个人的可能不同第三步:执行hadoop namenode-form原创 2020-08-09 15:31:59 · 4415 阅读 · 6 评论