自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 消费kafka报java.nio.channels.ClosedChannelException

首先,问题已解决,重新梳理思路,侧重阐述整个过程、问题解决方案。前言在业务划分+技术迭代的背景下,需要重新进行日志收集,即服务日志存储到hdfs。一、流程图基于下图可知,此次迭代的变更点,主要是kafka的消息生产。升级Kubernetes容器,主要原因:极致弹性的资源扩缩。主要执行步骤如下:申请kafka、增加topic申请sls申请logstash、安装插件t-streaming平台部署脚本网络加白a. sls 与 logstashb. logstash 与 kafka

2021-12-07 15:55:09 2819

原创 Mac安装Anaconda3与Pycharm配置

一、下载安装Anaconda点此进入anaconda官网「Get Started」 -> 「Install Anaconda Individual Edition」 -> 「64-Bit Graphical Installer (462 MB)」 -> 「默认安装」安装好之后,在启动台里找到终端,输入python至此Anaconda集成环境就好了二、为pycharm配置Anaconda开发环境第一步:点击Configure ——> Preferences第二步

2020-11-17 17:18:02 3515 4

原创 一次mysql事务锁问题记录

现象: Lock wait timeout exceeded; try restarting transaction场景:在不同服务器不同事务内先后对同一个数据表进行插入、更新,数据库出现被锁情况原因:mysql数据库采用InnoDB模式,默认参数 innodb_lock_wait_timeout 设置锁等待时间是50s,一旦数据库锁超过这个时间就会报错解决方法:1、查看数据库当前的进程,看一下是否有正在执行的慢SQL记录线程show processlist;2、查看当前的事务当前运行的所有事

2020-09-08 16:51:23 150 1

原创 Hbase精简入门

疑问:hdfs与hbase有啥区别?为什么要用hbase?如何理解hbase所谓的列式存储、Key-Value结构?。。。一、介绍HBaseApache HBase™ is the Hadoop database, a distributed, scalable, bigdata store. HBase is a type of “NoSQL” database.Apache HBase 是 Hadoop 数据库,一个分布式、可伸缩的大数据存储。HBase是依赖Hadoop的。为什么HBas

2020-09-08 16:48:21 181

原创 基于Django框架对MongoDB实现增删改查

在上一篇中,咱们已经实现了Scrapy框架爬取数据,并且存储到Mongodb数据库, 接下来呢,,,,,,,,,,,,, 咱们就要对这些数据进行操作。目标:从Mongodb数据库取出数据,通过Django框架展示到web页面,实现展示、分页、添加、修改、删除的功能1. 准备工作创建django项目 点击:file–>new project,出现下面的对话框。 选择Dj...

2018-08-14 14:53:21 9472 9

原创 Scrapy爬取数据存储到Mongodb数据库

目标:用Scrapy框架爬取帖子的编号、标题、内容、url,存储到Mongodb数据库1.定义项目所需爬取的字段( items.py )import scrapy# 定义项目所需爬取的字段class ComplaintspiderItem(scrapy.Item): # 帖子编号 number = scrapy.Field() # 帖子题目 title...

2018-08-14 12:17:48 1163 1

原创 Scrapy爬虫入门

为什么要做爬虫?都说现在是”大数据时代”,那数据从何而来?企业产生的用户数据、数据平台购买数据、政府/机构公开的数据、数据管理咨询公司、爬取网络数据爬虫是什么?百度百科:网络爬虫我们今后要学习的,主要是 聚焦爬虫聚焦爬虫,是”面向特定主题需求”的一种网络爬虫程序,它与通用搜索引擎爬虫的区别在于: 聚焦爬虫在实施网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的...

2018-08-07 11:04:53 418

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除