- 博客(14)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
原创 解决 mac安装或者更新第三方包安装不上的问题 mac OSX pip OSError: [Errno 1] Operation not permitted
解决 mac安装或者更新第三方包安装不上的问题 mac OSX pip OSError: [Errno 1] Operation not permittedOSError: [Errno 1] Operation not permitted: '/var/folders/bm/dccwv2v97y75hdshqnh1bbpr0000gn/T/pip-_dyADZ-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras
2017-11-22 14:33:47 11405
原创 MySql出现错误:ERROR 1055 (42000) 和 MYSQL的WARNINGS 和 ERRORS查询细节
MySql出现错误:ERROR 1055 (42000) 和 MYSQL的WARNINGS 和 ERRORS查询细节 ERROR 1055 (42000): Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'R.id' which is not functionally dependent on columns in GROUP BY clause; this is incom
2017-11-18 19:21:27 6932
转载 【Spark】RDD处理程序运行原理解释和它的Transformation和Actions操作详解
【Spark】RDD处理程序运行原理解释和它的Transformation和Actions操作详解(1) Spark 程序运行运行原理解释:下图描述了Spark的输入、 运行转换、 输出。 在运行转换中通过算子对RDD进行转换。算子是RDD中定义的函数,可以对RDD中的数据进行转换和操作。 1)输入:在Spark程序运行中,数据从外部数据空间(如分布式存储:textFile读取HDFS等,parallelize方法输入Scala集合或数据)输入Spark,数据进入Spark运行时数据空间,转化为S
2017-11-08 19:46:08 491
转载 spark的RDD中的action(执行)和transformation(转换)两种操作中常见函数介绍
spark的RDD中的action(执行)和transformation(转换)两种操作中常使用的函数(1) 弹性分布式数据集(RDD) Spark是以RDD概念为中心运行的。RDD是一个容错的、可以被并行操作的元素集合。创建一个RDD有两个方法:在你的驱动程序中并行化一个已经存在的集合;从外部存储系统中引用一个数据集。RDD的一大特性是分布式存储,分布式存储在最大的好处是可以...
2017-11-08 19:12:53 25229 1
转载 Spark中加载本地(或者hdfs)文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件
Spark中加载本地(或者hdfs)文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件textFile的参数是一个path,这个path可以是:1. 一个文件路径,这时候只装载指定的文件3. 通过通配符的形式加载多个文件或者加载多个目录下面的所有文件
2017-11-08 16:45:55 40230 1
原创 以hdfs上文件或者本地文件作为输入在Pycharm中运行spark程序代码示例
以hdfs上文件或者本地文件作为输入在Pycharm中运行spark程序,并将计算结果保存到hdfs上的python代码示例(1)准备输入数据文件:准备输入数据文件2017-11-01.txt和2017-11-10.txt,每行每个字段以"\t"分割,行之间用换行符分割,并上传到hdfs上/input目录下。内容如下:localhost:experiment_data a6$ more 2017-...
2017-11-07 19:39:14 1656
转载 shell bash常用的相关命令快捷建--字符串分割, 光标移到行首、行尾等
shell bash常用的相关命令快捷建----字符串分割, 光标移到行首、行尾等
2017-11-06 16:22:11 5114 1
转载 hive中简单介绍分区表(partition table),含动态分区(dynamic partition)与静态分区(static partition)
hive中简单介绍分区表(partition table),含动态分区(dynamic partition)与静态分区(static partition)hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段,而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。
2017-11-04 19:07:25 12555
转载 Hive的表的创建及外部表、分区表介绍
Hive的表的创建(内部表)及外部表、分区表详细介绍那么Hive中管理表(内部表)和外部表的区别是什么,及分区表使用场景?⑴ 三者区别:①Hive创建内部表时(默认创建内部表),会将数据移动到数据仓库指向的路径;②创建外部表(需要加关键字external),仅记录数据所在的路径,不对数据的位置做任何改变;③Hive删除表时,内部表的元数据和数据会被一起删除,而外部表只删除元
2017-11-04 14:12:01 2353
原创 创建hive表和使用Load data指令导入数据的注意事项
创建hive表和使用Load data指令导入数据的注意事项(一)创建hive数据库和表1.1 类似于MySql创建命令,创建数据库和表,并指定它在hdfs上的存储数据的目录'/hive_hdfs_local_data‘hive> CREATE DATABASE yyz_workdb;hive> create external table test_user( > us...
2017-11-04 11:56:58 71943 1
HelloUDF.zip
2019-10-11
MacDown使用小例子
2018-05-23
使用指针,进一步熟悉链表操作,实现添加,删除,修改,查找,排序等功能
2012-08-08
运算符重载和函数重载
2012-08-08
停车场管理系统
2012-08-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人