tristayhq-CSDN博客

原创分布式文件系统(HDFS）与linux系统文件系统关系

最近在学习hadoop时关于分布式文件系统(hdfs)中的块定义有点模糊，以及它内部与操作系统中物理磁盘块的关系，它们又是怎么建立关系？研究了一番，在这供大家参考，如有说的不对或是不全的地方，欢迎大家评论！各自区别：每个磁盘都有默认的数据块大小，这是磁盘进行数据读/写的最小单位。而构建于单个磁盘之上的文件系统(linux文件系统)通过磁盘块来管理该文件系统中的块，该文件系统中的文件大小是

2017-08-31 20:49:54 8409 1

原创 hive shell常用操作

hive理解：最近学习了一下hive，才知道hive没有守护进程，它是在HDFS与MapReduce的架构之上，即hadoop运行正常输入hive命令即可以使用，在运行此命令会加载hive-site.xml文件信息，下面小编介绍下Hive的简单操作一、交互式下（interactive ）创建分区表(数据文件是csv格式) CREATE TABLE t_weibo ( mid varchar(1

2017-08-25 15:40:42 545

原创 mysql实现编号及mysql实现排名

由于Mysql中没有窗口函数实现编号及排名,下面我就有两个班级的学生成绩为大家解释下在mysql中如何实现1.建表 create table sore(class int,id int,name varchar(10),sore int) 2.导入数据 insert into sore values(1,1,’zhang’,100),(1,2,’li’,90),(1,3,’wan

2017-06-08 16:52:26 5551

原创 hadoop集群安装hive

安装hive的前期工作是搭建好hadoop集群及安装好mysql数据库，由于本人前期写的博客详细解释过如何安装这两个软件，这里就不介绍了，在搭建好前面两部之后安装很简单，这里介绍下安装过程中碰到到两个问题：安装的流程我参照的博客http://blog.csdn.net/blue_jjw/article/details/50479263在安装过程中下载的mysql的jdbc包是mysql-conn

2017-06-02 16:55:10 1045

原创 mysql中文乱码总结

最近在mysql数据库环境工作了2个月，由于上游提供的数据各种各样，数据入库总是碰到错误，今天小编总结下各种场景处理方法：介绍前先普及下mysql关于字符集有哪些变量，如下图： character_set_database : 数据库的字符集，即use databasename对应得数据库名字符集 character_set_server: 默认的内部操作字符集，创建一个数据库

2017-05-25 17:22:05 283

原创指定SQL文本导出CSV文件

此下脚本是较灵活的卸数脚本，需指定表名、卸数路径、卸数的SQL文本!/usr/bin/sh功能：指定表导出含有字段title的CSV文件(编码GBK）调用方法：sh export_csv.sh TABLENAME PATH导出的CSV文件路径： $WORKDIR/data/$TABLENAME.csv编写一个需要卸数的SQL脚本TABLENAME=$1 WORKDIR=$2 SQL=cat \

2017-05-22 17:06:05 2423

原创 python实现与mysql数据库交互

1.官网下载anaconda(与python的区别可以百度查询) https://www.continuum.io/downloads/2.我选了linux操作系统下的安装软件，下载后是个shell脚本，执行脚本： bash Anaconda3-4.3.1-Linux-x86_64.sh （一路回车加提示按”yes”3.安装完成后退出终端，重新进入测试python的版本 4.

2017-05-19 12:31:02 2602

原创 mysql导出含有字段列csv文件

mysql导出文本文件想必大家觉得很简单，使用select导出呀！当时我也认为很简单，但在业务提的一些需求中总会碰到一些小坑，下面我就总结下自己在导出的时候碰到的几个小问题：数据库装在linux下，编码是UTF8,导出的csv文件提供给业务在WINDOWS都是一堆乱码csv文件打开后没有字段列，对业务分析数据叫困难解决思路1：为了把上面两个问题解决，我首先想到了本人经常使用的数据库连接工具Ra

2017-05-18 12:20:46 2101

原创 hadoop集群详细安装步骤(hadoop.2.7.3）

一：安装准备在虚拟机VWare下安装了四个redhat操作系统，下载路径：http://pan.baidu.com/share/link?shareid=3216417135&uk=2939827074&fid=917415041364300（快速方法:安装一个，克隆3个) rhel-server-6.3-x86_64-dvd.iso四个虚拟机网络互通设置官网下载(hadoop和jd

2017-05-16 12:06:00 577

原创 redhat6-64位操作系统下安装mysql-5.7.18过程

1.进入官网下载mysql https://dev.mysql.com/downloads/mysql/2.Tar包传至服务器下进行解压 Tar –xvf mysql-5.7.18-1.el6.x86_64.rpm-bundle.tar 3.解压后安装如下包： rpm –ivh mysql-community-common-5.7.18-1.el6.x86_64.rpm rpm –ivh

2017-05-15 21:56:03 339

tristayhq