自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

原创 pandas读取csv文件

pandas是一个高效的数据分析工具。基于其高度抽象的数据结构DataFrame,然后我们可以通过操作DataFrame进行数据分析,数据预处理以及行和列的操作等。而读取csv文件要做的工作就是把存储在csv格式中的数据读入并转换成DataFrame格式。1、pandas提供read_csv方法来读取csv文件                            应注意参数encod...

2019-01-12 15:00:43 1173

原创 MySQL导出数据到csv文件

一、MySQL导出数据到本地文件夹语法如下:            SELECT * FROM table_name                              INTO OUTFILE 'D:/xxx/xxx/xxx.csv'       (这里路径要加全路径)                              FIELDS TERMINATED BY ',' OP...

2019-01-12 11:23:40 7916

原创 MySQL的行转列操作

MySQL的行列转换在实际的项目中应用频繁,也是非常实用的操作。本人在第一次用到行转列的时候不知道怎么做,留下的印象也比较深刻,现在给大家介绍一下简单的操作吧。首先看一下表内容: 这种数据是很乱的,对于一个班级的成绩单来说,我们应该让一条数据对应一个学生的所有信息。所以我们用到行转列,把课程这个字段中的...

2019-01-12 09:33:52 732 1

原创 MySQL用IP地址无法连接访问导致用pandas不能读取数据

最近开始学习python的一个发行版anaconda,由于是新手,所以在连接MySQL数据库的时候遇到了一些问题。一、连接数据库,可以看见是没问题的二、读取数据的时候出现了问题类似于这样的错误:pymysql.err.OperationalError: (1045, u"Access denied for user 'root'@'localhost' (using passw...

2019-01-11 11:42:49 333

原创 SQLAlchemy连接MySQL数据库的方法

代码如下:在create_engine中输入的是一个连接字符串。在使用python的SQLAlchemy时,连接字符串的格式如下:数据库产品名+连接工具名://用户名:密码@数据库IP地址:数据库端口号/数据库名称?charset=数据库数据编码但是对于新手或者刚刚安装anaconda的使用者来说,在连接过程中经常会出现问题,比如:这就是本人在第一次使用的时候遇到的问...

2018-12-29 11:06:30 1746

原创 hive视图

1、表(table)存储的是实体数据,而视图(view)是一种虚拟存在的表,是一个逻辑表,本身并不包含数据,存储的是关系。作为一个select语句保存在数据字典中的。视图也叫快表、虚表。(Hive本身不存储和计算数据)2、通过视图,可以展现基表的部分数据;视图数据来自定义视图的查询中使用的表,使用视图动态生成。视图可以简化复杂的查询,提高查询速度。3、视图是建立在已有表的基础上,视图赖以建...

2018-11-14 18:01:01 773

原创 Linux系统vi/vim的常用命令和操作

1 、光标移动命令:0:移动到光标所在行的行首[Home]$:移动到光标所在行的行尾[End]ctrl+d:向下半页ctrl+f:向下一页PageDownctrl+u:向上半页ctrl+b:向上一页PageUpH:移动到视窗的第一行M:移动到视窗的中间行L:移动到视窗的最后行G:移动到文件最后行nG:直接用数字n加上大写G移动到第n行(等同于命令“:n”...

2018-11-12 16:36:43 229

原创 Java之两个Set集合的交集、差集和并集

一、求交集注:场景是读取两个文件,把文件内容放到Set中,求两个文件之间的共同元素。在这里只写对Set的操作。public static void main(String[] args) throws Exception { String path1 = "path1"; String path2 = "path2"; Set<String> set1 = rea...

2018-10-26 21:57:16 16679 2

原创 HDFS文件的读写和关闭流

一、读取HDFS文件public class ReadHdfsFileUtil { //添加日志输出能力 Logger log = Logger.getLogger(ReadHdfsFileUtil.class); //加载配置文件到内存对象 static Configuration conf = new Configuration(); //读取HDFS文件内容 public...

2018-10-26 21:40:08 1653

原创 xshell连接linux虚拟机失败的问题解决

一、常规情况想用xhsell连接虚拟机要先确认ssh服务是否开启,防火墙是否关闭。1、查看ssh服务 -- service sshd status说明ssh服务没有开启 2、开启sshd服务 -- service sshd start3、查看并关闭防火墙经过以上操作之后尝试连接二、这个是本人经常遇到的问题,就是当更换网络连接的时候xshell就连不上虚拟机了...

2018-10-19 17:20:58 3395 1

原创 Java常见的三种排序之冒泡排序、快速排序和选择排序

一、冒泡排序(Bubble Sort)【算法原理】1、比较相邻的元素。如果第一个比第二个大,就交换他们两个。2、对每一对相邻元素做同样的工作,从开始第一对到结尾的最后一对。在这一点,最后的元素应该会是最大的数。3、针对所有的元素重复以上的步骤,除了最后一个。4、持续每次对越来越少的元素重复上面的步骤,直到没有任何一对数字需要比较。【基本实现】public static ...

2018-10-18 20:35:14 230

原创 Linux上用yum安装mysql

一、查看Linux系统中是否已有MySQL输入:yum list installed | grep mysql如果已有,先进行删除。二、卸载自带的MySQL输入:yum -y remove mysql.x86_64如果有多个依赖文件,依次卸载。知道出现Complete,即卸载完成。三、查看yum库中的MySQL版本输入:yum list | grep mysql...

2018-03-17 23:00:13 219

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除