广志大兄弟的博客

纵横IT行业,卓达程序代码

dataframe操作集锦(提取前几行,合并,入库等)

spark dataframe派生于RDD类,但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况,主要是会进行两个数据集的筛选、合并,重新入库。 首先加载数据集,然后在提取数据集的前几行过程中,才找到limit的函数。 而合并就用到union函数,重新入库,...

2019-03-15 10:27:35

阅读数 4

评论数 0

【图片爬虫】60行代码带你看婚纱摄影——金夫人

#!/usr/bin/env python # -*- coding: utf-8 -*- from urllib import request import re from fake_useragent import UserAgent url = 'http://www.bjjfr.com/...

2019-03-04 17:25:37

阅读数 21

评论数 0

【视频爬虫】教育型视频网站:万门大学---blob视频播放

偶然间关注了这个不温不火(个人认为)的视频教育网站,最开始送一些体验课程,可以体验一年时间。 后续的视频课程有有一次爆发,一个好几百节课的教育课程开放一半的体验课程(价值3000多块呢,反正万门上标价这么高),好家伙,仔细看看虽然没有什么重点的干货(干货都收费),但是短时间真心的没有时间看,但是可...

2019-02-21 15:46:52

阅读数 64

评论数 4

从无到有的搭建pyspark环境(windows10)

导航下载安装所需文件安装java环境安装python环境安装hadoop1. 首先是[下载hadoop2.6.0安装包](http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz),这里点击就可以下载。2...

2018-12-21 10:45:38

阅读数 55

评论数 0

广志大兄弟发放支付宝红包了

别人已经过月入过十万了,我怎么还在看着?? --------------此处省略一个黑人一脸问号的部分------------ 好了放上正题,别人家都已经躺着领红包了,你怎么还在看着??? 拿出手机打开支付宝,扫描下方二维码,领取红包 你没有看错,是你领红包,不是广志大兄弟在要赞赏 当...

2018-09-29 10:46:56

阅读数 56

评论数 0

error: Microsoft Visual C++ 14.0 is required解决方案

安装python库的时候容易出现的错误,尤其是安装scrapy的时候,需要build一些组件库。 报错如下: 由于电脑的Visual C++ 版本过低,导致编译失败,解决办法有两个。 error: Microsoft Visual C++ 14.0 is required. Get it ...

2018-09-12 11:51:04

阅读数 148

评论数 0

使用pymysql报错err.ProgrammingError: execute() first

Exception in thread Thread-7261: Traceback (most recent call last): File "C:\Users\UCS-TREMBLE\AppData\Local\Programs\Python\Python36-32\...

2018-09-04 13:03:26

阅读数 1387

评论数 3

猫眼爬虫-验证码解决问题

最近猫眼可能发现了我这篇博客,把验证码关闭了,皆大欢喜。 而且爬虫开始肆无忌惮起来,有的时候都503 了   ------------------------------------------------------   众多帖子中,都拿猫眼来做爬虫,爬虫内容都大同小异的,这个说猫眼的...

2018-07-11 14:17:25

阅读数 404

评论数 4

【Hive WARN】Column order_discount had to be cast to a less precise type in Hive

最近无聊,随表拷了一个业务数据库中的订单明细表,自己查看了一下导表的日志,发现一直在报一个异常,而且还不少。具体日志如下:18/06/19 13:41:56 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `ord...

2018-06-19 13:56:47

阅读数 712

评论数 0

cloudera manager安装CDH版本的spark 无法连接解决办法

前提:在很久很久以前,搭了一套cloudera manger 的集群,全组件安装上之后,一直没有使用spark ,安装时出现了很多问题,这个权限不足,那个权限不足的,到最后只将用的那几个组件给调试好了,其他的一直都没管。最近使用了spark 发现7077无法连接。 这个都无法连接,你让我在这上面怎...

2018-05-28 20:38:40

阅读数 1770

评论数 2

cloudera manager 忘记admin 密码怎么办?

人生百态,世事无常。突然有一天你玩cloudera manager心血来潮的时候,给自己改个密码吧,第二天回来清理了电脑的缓存,再次登录贵公司的cm的时候,发现,哎呦,密码是啥来着?cloudera manager 忘记登录密码 修改密码第一步 链接数据库后 修改数据库内容 注意cloudera ...

2018-04-23 14:09:05

阅读数 1209

评论数 0

Django学习踏过的坑

1、django.db.utils.InternalError: (1130, “Host ……

2018-03-24 17:01:06

阅读数 403

评论数 0

Hexo博客首页自动添加Read More标记-不在首页显示全部文章全部内容

原文来自背景 解决过程 原文代码 处理方法 注意 背景hexo 在写作的时候,如果在文中添加(解决过程在 hexo 的 github 上看到有人说是跟主题有关,费死八难找到了代码的关键部分: 文件/themes/[主题名]/layout/_partial/article.ejs其中有一段为: ...

2018-03-10 17:37:12

阅读数 1769

评论数 0

使用github创建个人博客出错

自己创建了github的个人网页,想修改一下自己的username,改变github访问的链接。修改方法如下,进入github,点击settings注意这里的name并不是username选择account,点击change username系统提示你是否真的要修改,会有那些危害。点击按钮表示我知...

2018-03-08 09:07:54

阅读数 667

评论数 0

oracle中 connect by prior 递归算法 -- 理解

oracle中 connect by prior 递归算法Oracle中start with…connect by prior子句用法 connect by 是结构化查询中用到的,其基本语法是:

2017-11-30 16:37:20

阅读数 135

评论数 0

linux系统安装VNC服务端

安装1 - 安装tigervnc-server yum -y install tigervnc-server 2 - 启动并设置链接密码 vncserver 3 - 页面提醒并设置链接密码password verify4 - 注意页面生成的内容链接地址为 主机名or IP地址:1

2017-11-30 16:35:28

阅读数 152

评论数 0

关于加班与面试

面试中关于加班的问题,于面试官是一种试探,看你的压力承受能力、你的工作意愿;于你而言是一种态度选择。对于长期加班,相信绝大多数人都会反对,对此深恶痛绝,我们不能牺牲健康而生活,这家公司文化和管理可能也有问题。对于偶尔的加班,觉得可以理解,紧急情况需要处理,或因为新人效率不高导致的加班,合情合理,所...

2017-11-01 17:32:44

阅读数 327

评论数 0

入职如何谈薪资

1、确认期望薪资薪资问题如何回答,首先得确认自己的底牌;你的期望薪资是多少?职业的价值通常与工作经验,专业能力,所在城市,行业情况,学历背景等因素有关系,简单来说:随行就市。 1. 评估自身与应聘职位的匹配度; 2. 了解业内行情(招聘求职网站或者百度检索信息、职业QQ群里询问在职的老鸟等,方...

2017-11-01 17:32:08

阅读数 3865

评论数 0

如何回答:你有什么样的职业规划

这个面试题顶有意思,说得专业一点是“你有什么样的职业规划”;说得通俗一点是“你未来三到五年有什么目标”;再说得的粗暴一点,“你在公司能干得多久”其实,都是一件事,职业规划。很多求职者对这个问题非常头疼,不知道如何回答,有的不理解问题的含义,答非所问; 有的对职业规划没概念,不知道说什么;有的心里点...

2017-11-01 17:31:02

阅读数 6038

评论数 3

如何回答:你对运维(大数据)工作了解多少?被录用后打算如何展开工作?

错误示例:运维这工作,没出事,谁都想不到有你这号人,啥好事和你都没有关系;一旦出了状况,全公司上上下下都在找你,指责你到底成天在搞什么东西,这话,不好干啊。我被录用后,就好好的工作呗,不调戏前台妹子,不挤兑同室汉子,遵纪守法,领导说啥我就干啥……正确示例:1. 对工作的理解我认为运维工作对于保障全...

2017-11-01 17:29:49

阅读数 2640

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭