2017年11月_Data_IT_Farmer

12月 11月 10月 09月 08月 07月

转载 Azkaban－开源任务调度程序（使用篇）

Azkaban－开源任务调度程序（使用篇）

2017-11-24 10:16:35 2234

原创解决 mac安装或者更新第三方包安装不上的问题 mac OSX pip OSError: [Errno 1] Operation not permitted

解决 mac安装或者更新第三方包安装不上的问题 mac OSX pip OSError: [Errno 1] Operation not permittedOSError: [Errno 1] Operation not permitted: '/var/folders/bm/dccwv2v97y75hdshqnh1bbpr0000gn/T/pip-_dyADZ-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras

2017-11-22 14:33:47 11401

原创 MySql出现错误：ERROR 1055 (42000) 和 MYSQL的WARNINGS 和 ERRORS查询细节

MySql出现错误：ERROR 1055 (42000) 和 MYSQL的WARNINGS 和 ERRORS查询细节 ERROR 1055 (42000): Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'R.id' which is not functionally dependent on columns in GROUP BY clause; this is incom

2017-11-18 19:21:27 6929

转载 vim常用命令之多行注释和多行删除

vim中多行注释和多行删除命令，这些命令也是经常用到的一些小技巧，可以大大提高工作效率。

2017-11-17 16:44:05 48964

转载【Spark】RDD处理程序运行原理解释和它的Transformation和Actions操作详解

【Spark】RDD处理程序运行原理解释和它的Transformation和Actions操作详解(1) Spark 程序运行运行原理解释：下图描述了Spark的输入、运行转换、输出。在运行转换中通过算子对RDD进行转换。算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。　　1）输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，转化为S

2017-11-08 19:46:08 491

转载 spark的RDD中的action(执行)和transformation(转换)两种操作中常见函数介绍

spark的RDD中的action(执行)和transformation(转换)两种操作中常使用的函数(1) 弹性分布式数据集（RDD） Spark是以RDD概念为中心运行的。RDD是一个容错的、可以被并行操作的元素集合。创建一个RDD有两个方法：在你的驱动程序中并行化一个已经存在的集合；从外部存储系统中引用一个数据集。RDD的一大特性是分布式存储，分布式存储在最大的好处是可以...

2017-11-08 19:12:53 25225 1

转载 Spark中加载本地（或者hdfs）文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件

Spark中加载本地（或者hdfs）文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件textFile的参数是一个path,这个path可以是：1. 一个文件路径，这时候只装载指定的文件3. 通过通配符的形式加载多个文件或者加载多个目录下面的所有文件

2017-11-08 16:45:55 40228 1

原创以hdfs上文件或者本地文件作为输入在Pycharm中运行spark程序代码示例

以hdfs上文件或者本地文件作为输入在Pycharm中运行spark程序，并将计算结果保存到hdfs上的python代码示例（1）准备输入数据文件：准备输入数据文件2017-11-01.txt和2017-11-10.txt，每行每个字段以"\t"分割，行之间用换行符分割，并上传到hdfs上/input目录下。内容如下：localhost:experiment_data a6$ more 2017-...

2017-11-07 19:39:14 1655

转载 shell bash常用的相关命令快捷建--字符串分割, 光标移到行首、行尾等

shell bash常用的相关命令快捷建----字符串分割, 光标移到行首、行尾等

2017-11-06 16:22:11 5114 1

转载 hive中简单介绍分区表(partition table)，含动态分区(dynamic partition)与静态分区(static partition)

hive中简单介绍分区表(partition table)，含动态分区(dynamic partition)与静态分区(static partition)hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。

2017-11-04 19:07:25 12552

转载 hadoop Shell命令详解

hadoop Shell命令详解

2017-11-04 17:47:24 289

转载 Hive通过动态分区装载数据

Hive通过动态分区装载数据

2017-11-04 16:50:14 3967

转载 Hive的表的创建及外部表、分区表介绍

Hive的表的创建(内部表)及外部表、分区表详细介绍那么Hive中管理表（内部表）和外部表的区别是什么，及分区表使用场景？⑴ 三者区别：①Hive创建内部表时（默认创建内部表），会将数据移动到数据仓库指向的路径；②创建外部表（需要加关键字external），仅记录数据所在的路径，不对数据的位置做任何改变；③Hive删除表时，内部表的元数据和数据会被一起删除，而外部表只删除元

2017-11-04 14:12:01 2352

原创创建hive表和使用Load data指令导入数据的注意事项

创建hive表和使用Load data指令导入数据的注意事项（一）创建hive数据库和表1.1 类似于MySql创建命令，创建数据库和表，并指定它在hdfs上的存储数据的目录'/hive_hdfs_local_data‘hive> CREATE DATABASE yyz_workdb;hive> create external table test_user( > us...

2017-11-04 11:56:58 71909 1

HelloUDF.zip

Hive 自定义函数UDF开发手把手教程—— 创建临时函数和永久函数代码，具体创建过程参考https://blog.csdn.net/helloxiaozhe/article/details/102498567

2019-10-11

MacDown使用小例子

MacDown使用操作例子——`MarkDown` 是一种 **轻量级的标记语言** , 可以使用普通文本编辑器编写的语言。通过简单的标记语法，使普通的文本具有一定的格式。 `MarkDown` 的优点在于，它用简洁的语法代替了排版。而不像一般我们用的处理软件 Word 或 Pages 有大量的排版、字体设置。它使我们专注于内容的编写。

2018-05-23

使用指针，进一步熟悉链表操作，实现添加，删除，修改，查找，排序等功能

通过使用指针，进一步熟悉链表操作，实现添加，删除，修改，查找，排序等功能。我的课题理解：我把课题定位在学生信息管理系统：创建一个带头结点学生链表，用菜单的形式实现增删改查功能外，用采用冒泡排序实现按学生成绩由高到低排序功能，同时又实现用户登陆，用户注册验证，以及一屏连续向用户展示功能。目录：程序代码实现部分： p1----p14 实验结果部分： P15---P20 实验中遇到问题及解决方法： P21---P25 实验心得： P26

2012-08-08

运算符重载和函数重载

练习对字符串的常用操作，进而加深对类的多态性的理解：如运算符重载和函数重载字符串连接，+=运算符重载求子串: 左边几个字符，，， Left(int nCount) 右边几个，， Right(int nCount) 某个位置开始的几个字符 Mid(int nPos,int nCout) 2..进一步熟悉掌握对类的构造函数重载，拷贝构造的使用目录：程序代码实现部分： p2----p6 实验结果部分： P7 实验中遇到问题及解决方法： P7----P9 实验心得： P9

2012-08-08

停车场管理系统

本次课题描述：（1）有一个两层的停车场, 每层有6个车位, 当第一层车停满后才允许使用第二层. (停车场可用一个二维数组实现, 每个数组元素存放一个车牌号 ) 每辆车的信息包括车牌号、层号、车位号、停车时间共4项，其中停车时间按分钟计算。（2）假设停车场初始状态为第一层已经停有4辆车, 其车位号依次为1—4 , 停车时间依次为20, 15, 10 , 5 . 即先将这四辆车的信息存入文件”car.txt”中( 数组的对应元素也要进行赋值 ) 。停车操作：当一辆车进入停车场时, 先输入其车牌号, 再为它分配一个层号和一个车位号, 停车时间设为5 , 最后将新停入的汽车的信息添加文件”car.txt”中, 并将在此之前的所有车的停车时间加5。（3）收费管理(取车)：当有车离开时, 输入其车牌号, 先按其停车时间计算费用, 每5分钟0.2元. (停车费用可设置一个变量进行保存), 同时从文件”car.txt”中删除该车的信息, 并将该车对应的车位设置为可使用状态(即二维数组对应元素清零). 按用户的选择来判断是否要输出停车收费的总计。系统开发的目标是：（1）停车场内车辆信息及时汇总，随时了解停车场车位的使用情况；（2）统计车辆信息全部电脑化，提高工作效率和工作质量；（3）以停车场内的全部车辆信息为基础，由客户自主选择停车位，尽量达到车位的最高利用率；（4）停车费用的结算也由电脑来完成，解决客户所担心的乱收费问题。（5）用户可以在取车时，留下宝贵的对本次使用的评价，待管理员审核后就可以动态地显示用户界面的正上方。，

2012-08-04

csdn排名规则改了？从上一周的1700多名，在这一周断崖式下降到6400多名，这个是什么骚操作呢，大家来吐槽哈

2021-08-03

TA创建的收藏夹 TA关注的收藏夹

TA关注的人