![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据分析
文章平均质量分 50
风之清扬
拥抱生活,拥抱创新,每天学点新知识,积少成多,努力进取!
展开
-
大数据flink篇之三-flink运行环境安装后续一yarn-session安装
具体的,在生产环境中,flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。Hadoop 必須保证在 2.2 以上,且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。这种模式所有的job都共享一个jobmanager,启动的集群只有一个jobmanager。首先确保在/etc/profile中添加了配置项。原创 2023-10-14 23:38:45 · 1087 阅读 · 0 评论 -
大数据flink篇之三-flink运行环境安装(一)单机Standalone安装
Standalone单机版安装原创 2023-10-10 23:39:12 · 1159 阅读 · 0 评论 -
大数据flink篇之二-基础实例wordcount
三种方式进行wordcount统计原创 2023-09-26 16:20:58 · 784 阅读 · 0 评论 -
大数据flink篇之一-基础知识
flink基础原创 2023-09-25 18:56:46 · 669 阅读 · 0 评论 -
crontab定时任务下启动脚本无法获取环境变量信息
好久没更新博客了,还是要坚持常更新常进步。闲话不多说了,直接切入正题。最近在crontab部署定时脚本时,发现脚本正常启动,但无法获取已配置好的环境变量,如$JAVA_HOME。经过进一步的探究,发现crontab启动定时任务时,只加载了/etc/environment,并未加载/etc/profile和~/.bash_profile文件里的配置。正确的做法,在shell脚本开头添加:source ~/.bash_profilesource /etc/profile问题得到完美解决...原创 2022-01-14 16:02:39 · 1689 阅读 · 0 评论 -
MapReduce(一)基础简介和Wordcount实例
MapReduce是一种离线批式计算框架,与Spark streaming、flink等流式计算框架不同,其输入时固定不可变的,延时较高,适合处理大批量实时分析的场景。MapReduce源于:2004年12月Google发表的论文,其特点:1)易于编程;2)良好的扩展性;3)高容错性;4)适合PB级以上海量数据离线处理应用场景:流量统计/单词统计/最流行的K个搜索词/复杂算法实现MR编程模型:MR执行过程1)数据会被切割成数据分片;-Split2)数据片段以key和value的形式被原创 2020-08-02 15:55:12 · 331 阅读 · 0 评论 -
python操作es数据
不知不觉进入职场已经大半年了,有些收获,同时又感觉自己的渺小,感觉自己还需要学习很多。最近项目中需要利用Python读写es数据,试了网上的一些方法,有的方法已经过期了,有的报错,花了一段时间才成功搞定。现在将这些方法记录下来,方便自己也方便其它读者。1)首先安装相应es的包;pip install elasticsearch2)读取ES数据;from elasticsearch impo...原创 2019-03-23 23:30:14 · 7862 阅读 · 2 评论 -
向Gitlab项目工程提交代码时出现无法推送的问题
科室开始使用Gitlab来管理代码框架。对于一个刚接触Gitlab的小白来说,还是出现很多问题的。其中有一个问题困扰了一个星期,就是推送代码时出现:”remote: http basic: access denied fatal: authentication failed for xxx”的问题,用Git bash命令进行推送也是发生失败。试了网上很多的解决方法,但仍未解决问题。最后在一个简单的...原创 2018-11-05 14:08:56 · 7597 阅读 · 1 评论 -
使用Maven创建Scala程序
1.创建新工程 2.点击next,填写GroupId,ArtifactId。其中GroupId为项目组名,后者为默认项目名。点击next。 3.点击finish即可创建。 4.目录结构如下: 5.在main目录下新建sala目录文件,如下图所示。可以发现scala文件为灰色。 6.点击“File”->”Project structure”->”Module...原创 2018-09-17 16:13:19 · 4396 阅读 · 0 评论 -
SQLYOG导入数据时报错,出现找不到Microsoft office 元驱动程式,并且无法安装64位office Access驱动
当我们使用mysql导入外部数据时(如Excel表),有时会出现如下的错误问题,即找不到64位access驱动。为了解决这个问题,我们需要下载相应的驱动,通过下图中的点击此链接即可进入下载页面(https://www.microsoft.com/en-us/download/details.aspx?id=13255)。 点击下载,下载64位Access。运行下载好的文件,安装驱动即可。...原创 2018-09-16 00:49:51 · 13603 阅读 · 4 评论 -
Scala的下载与安装
Scala的下载与安装 一、软件下载 1.1需要下载的软件 安装Scala环境需要下载的软件包括: 1)jdk ;2)scala;3)IDEA 由于scala和jdk的版本不兼容问题,安装时需要关注。这里使用的jdk为jdk1.8; scala为2.10版本。 1.2环境下载路径: JDK:http://www.oracle.com/technetwork/java/javase/d...原创 2018-08-29 01:24:50 · 18808 阅读 · 2 评论 -
python操作excel表格
这里我是用python3来操作excel表,使用的python包为xlutil、xlwt与xlrd等。 1.读取数据#coding=utf-8from xlwt import *import xlrdfrom xlutils.copy import copyimport osdef read_excel(filename): #读取Excel数据 try: ...原创 2018-08-17 00:44:03 · 633 阅读 · 0 评论 -
python 操作mysql数据库表以及增删改查
上一篇博客对mysql数据库的安装进行了详细的介绍,这里具体介绍一下利用python操作mysql数据库。以下将从数据库的连接、表的创建、增删改查等方面进行介绍。 1)数据库的连接def create_db_link(): #创建数据连接 try: print("创建连接!") #连接数据库,connect的参数分别为IP地址、用户名、密码、数...原创 2018-08-13 14:26:09 · 1765 阅读 · 2 评论 -
MySql数据库的下载安装及使用教程
这段时间一直在使用python操作mysql数据库,这里简要叙述一下mysql的安装过程。后续的博客中也会讲到python操作mysql的步骤,这里不作介绍。 一、MySql的下载与安装 1.MySQL的下载 在浏览器中输入网址:https://www.mysql.com/downloads/,然后点击菜单中的“Community”,再点击下方的“MySQL on Windows”,如下图所...原创 2018-08-12 21:04:26 · 87251 阅读 · 12 评论