- 博客(12)
- 收藏
- 关注
RSS订阅原创 pandas读取csv文件
pandas是一个高效的数据分析工具。基于其高度抽象的数据结构DataFrame，然后我们可以通过操作DataFrame进行数据分析，数据预处理以及行和列的操作等。而读取csv文件要做的工作就是把存储在csv格式中的数据读入并转换成DataFrame格式。1、pandas提供read_csv方法来读取csv文件 应注意参数encod...
2019-01-12 15:00:43
1173
原创 MySQL导出数据到csv文件
一、MySQL导出数据到本地文件夹语法如下： SELECT * FROM table_name INTO OUTFILE 'D:/xxx/xxx/xxx.csv' （这里路径要加全路径） FIELDS TERMINATED BY ',' OP...
2019-01-12 11:23:40
7916
原创 MySQL的行转列操作
MySQL的行列转换在实际的项目中应用频繁，也是非常实用的操作。本人在第一次用到行转列的时候不知道怎么做，留下的印象也比较深刻，现在给大家介绍一下简单的操作吧。首先看一下表内容： 这种数据是很乱的，对于一个班级的成绩单来说，我们应该让一条数据对应一个学生的所有信息。所以我们用到行转列，把课程这个字段中的...
2019-01-12 09:33:52
733
1
原创 MySQL用IP地址无法连接访问导致用pandas不能读取数据
最近开始学习python的一个发行版anaconda，由于是新手，所以在连接MySQL数据库的时候遇到了一些问题。一、连接数据库，可以看见是没问题的二、读取数据的时候出现了问题类似于这样的错误：pymysql.err.OperationalError: (1045, u"Access denied for user 'root'@'localhost' (using passw...
2019-01-11 11:42:49
334
原创 SQLAlchemy连接MySQL数据库的方法
代码如下：在create_engine中输入的是一个连接字符串。在使用python的SQLAlchemy时，连接字符串的格式如下：数据库产品名+连接工具名：//用户名：密码@数据库IP地址：数据库端口号/数据库名称？charset=数据库数据编码但是对于新手或者刚刚安装anaconda的使用者来说，在连接过程中经常会出现问题，比如：这就是本人在第一次使用的时候遇到的问...
2018-12-29 11:06:30
1749
原创 hive视图
1、表（table）存储的是实体数据，而视图（view）是一种虚拟存在的表，是一个逻辑表，本身并不包含数据，存储的是关系。作为一个select语句保存在数据字典中的。视图也叫快表、虚表。（Hive本身不存储和计算数据）2、通过视图，可以展现基表的部分数据；视图数据来自定义视图的查询中使用的表，使用视图动态生成。视图可以简化复杂的查询，提高查询速度。3、视图是建立在已有表的基础上，视图赖以建...
2018-11-14 18:01:01
774
原创 Linux系统vi/vim的常用命令和操作
1 、光标移动命令：0：移动到光标所在行的行首[Home]$：移动到光标所在行的行尾[End]ctrl+d：向下半页ctrl+f：向下一页PageDownctrl+u：向上半页ctrl+b：向上一页PageUpH：移动到视窗的第一行M：移动到视窗的中间行L：移动到视窗的最后行G：移动到文件最后行nG：直接用数字n加上大写G移动到第n行(等同于命令“：n”...
2018-11-12 16:36:43
229
原创 Java之两个Set集合的交集、差集和并集
一、求交集注：场景是读取两个文件，把文件内容放到Set中，求两个文件之间的共同元素。在这里只写对Set的操作。public static void main(String[] args) throws Exception { String path1 = "path1"; String path2 = "path2"; Set<String> set1 = rea...
2018-10-26 21:57:16
16681
2
原创 HDFS文件的读写和关闭流
一、读取HDFS文件public class ReadHdfsFileUtil { //添加日志输出能力 Logger log = Logger.getLogger(ReadHdfsFileUtil.class); //加载配置文件到内存对象 static Configuration conf = new Configuration(); //读取HDFS文件内容 public...
2018-10-26 21:40:08
1655
原创 xshell连接linux虚拟机失败的问题解决
一、常规情况想用xhsell连接虚拟机要先确认ssh服务是否开启，防火墙是否关闭。1、查看ssh服务 -- service sshd status说明ssh服务没有开启 2、开启sshd服务 -- service sshd start3、查看并关闭防火墙经过以上操作之后尝试连接二、这个是本人经常遇到的问题，就是当更换网络连接的时候xshell就连不上虚拟机了...
2018-10-19 17:20:58
3396
1
原创 Java常见的三种排序之冒泡排序、快速排序和选择排序
一、冒泡排序（Bubble Sort）【算法原理】1、比较相邻的元素。如果第一个比第二个大，就交换他们两个。2、对每一对相邻元素做同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该会是最大的数。3、针对所有的元素重复以上的步骤，除了最后一个。4、持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。【基本实现】public static ...
2018-10-18 20:35:14
230
原创 Linux上用yum安装mysql
一、查看Linux系统中是否已有MySQL输入：yum list installed | grep mysql如果已有，先进行删除。二、卸载自带的MySQL输入：yum -y remove mysql.x86_64如果有多个依赖文件，依次卸载。知道出现Complete，即卸载完成。三、查看yum库中的MySQL版本输入：yum list | grep mysql...
2018-03-17 23:00:13
219
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人