- 博客(75)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 document.head.innerHTML is not a function解决方案
document.head.innerHTML is not a function解决方案
2023-04-05 10:41:48
40
原创 Linux下compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK解决
Linux下compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK解决
2023-03-10 17:44:08
260
原创 基于大数据平台的毕业设计01：基于Docker的HDP集群搭建
好多人问我，这种基于大数据平台的xxxx的毕业设计要怎么做。这个可以参考之前写得关于我大数据毕业设计的文章基于大数据平台的毕业设计。这篇文章是将对之前的毕设进行优化。个人觉得可以分为两个部分。第一个部分就是基础的平台搭建。例如Hadoop集群、Kafka集群。第二个部分就是上层应用的建设，例如基于大数据平台的数据分析，以及大屏展示之类的可视化应用。前者提供了基础平台能力，让整个设计加入大数据元素；后者提供了上层应用能力，主要是让别人明白你利用大数据平台做了什么。前些日子闲得无聊，在一台虚拟机。
2022-10-28 17:38:06
3280
2
原创 10000张2022年中国风微信虎年红包封面免费领取
虎年将至，特地制作了一个比较中国风的微信红包分享给大家。希望大家在新的一年里，能够如虎添”亿“，快乐加倍。也希望我能脱单，哈哈。封面效果红包封面如图：领取方式微信公众号 入门到放弃之路，回复 虎年封面 即可。效果预览哔哩哔哩2022虎年红包封面效果预览播放链接本来2022年的虎年微信红包封面的设计，使用了迪士尼的烟花做了一个封面故事，素材搜集和格式处理用了几个小时，但是因为素材与其他作品相仿，最终没有通过审核，只有封面通过了审核。这里把原设计的效果给大家看一下。第一次设计微信红包封面，也是
2022-01-29 23:01:25
464
原创 详细到落泪的Tomcat安装教程....
前言我个人是很少写基础软件的安装的，直到有一天诸葛铁头因为Tomcat安装的问题找到我…诸葛铁头，原名诸葛铁蛋，因人比较头铁，故取名铁头。在诸葛体铁头建议下、以及征求了她的同意后，写了这篇文章。虽然这篇文章很简单，但是我也会尽力给一些新手带来一些有用的知识输出。步骤下载沉浮于新手区的这一年中，遇到遇到最多的问题就是：JDK在哪下载？Tomcat在哪下载？xxx在哪下载？这里要说的是，在计算机中用到的软件，不论付费的还是免费的，几乎都可以在官网可以下载到。去Tomcat官网就可以下载各个版本和
2022-01-18 00:04:03
3779
2
原创 Scrapy入门到放弃07：scrapyd、gerapy，界面化启停爬虫
前言上一篇的枯燥无味，就用这一篇来填补一下。写到插件篇了，终于能写点有意思的东西了，接下来就Scrapy基本概念和插件篇来穿插着写一写。在我们以往开发的爬虫中，不论是Java的Jsoup，还是Python的requests，启动方式和普通的应用程序没什么两样，都是通过命令来本机运行。但Scrapy提供了远程启停爬虫的服务Scrapyd。Scrapyd基于http协议开放了API，以此来远程启停爬虫。而第三方插件Gerapy作为一个分布式爬虫管理框架，基于Scrapyd又封装了一个web应用，在网页上
2021-11-19 09:46:30
537
1
原创 Scrapy入门到放弃06：Spider中间件
前言写一写Spider中间件吧，都凌晨了，一点都不想写，主要是也没啥用…哦不，是平时用得少。因为工作上的事情，已经拖更好久了，这次就趁着半夜写一篇。Scrapy-deltafetch插件是在Spider中间件实现的去重逻辑，开发过程中个人用的还是比较少一些的。作用依旧是那张熟悉的架构图，不出意外，这张图是最后一次出现在Scrapy系列文章中了。如架构图所示，Spider中间件位于Spiders（程序）和engine之间，在Item即将拥抱Pipeline之前，对Item和Response进行处理
2021-11-10 22:41:19
732
1
原创 基于大数据平台的毕业设计
前言最近有很多人问我，大数据专业有什么好的毕设项目，我就简单的回复了一下。也有直接问我要源码的…所以就抽空写一写自己毕业设计的一个思路，大数据是我实习自学的，这个思路是我当初自己想的，就当做一份参考吧。在我毕业那年，同学们毕业设计大多都是以Java语言开发的各种管理系统、xx商城为主，包括我刚开始的想法也是这样的。这也是计算机专业很常见的毕业设计选题。这种选择的好处就是简单，网上模板多。动手能力强的同学，直接去github上拉下来源码，稍微修改一下，一个毕业设计项目就完成了。动手能力弱的同学，也可
2021-11-04 10:01:39
12758
23
原创 Scrapy入门到放弃05：让Item在Pipeline飞一会
前言“又回到最初的起点，呆呆地站在镜子前”。本来这篇是打算写Spider中间件的，但是因为这一块涉及到Item，所以这篇文章先将Item讲完，顺便再讲讲Pipeline，然后再讲Spider中间件。Item和Pipeline依旧是先上架构图。从架构图中可以看出，当下载器从网站获取了网页响应内容，通过引擎又返回到了Spider程序中。我们在程序中将响应内容通过css或者xpath规则进行解析，然后构造成Item对象。而Item和响应内容在传递到引擎的过程中，会被Spider中间件进行处理。最后P
2021-08-23 21:04:05
109
原创 Scrapy入门到放弃04：下载器中间件，让爬虫更完美
前言MiddleWare，顾名思义，中间件。主要处理请求（例如添加代理IP、添加请求头等）和处理响应本篇文章主要讲述下载器中间件的概念，以及如何使用中间件和自定义中间件。MiddleWare分类依旧是那张熟悉的架构图。从图中看，中间件主要分为两类：Downloader MiddleWare：下载器中间件Spider MiddleWare：Spider中间件本篇文主要介绍下载器中间件，先看官方的定义：下载器中间件是介于Scrapy的request/response处理的钩子框架。 是
2021-08-05 11:31:57
336
原创 Scrapy入门到放弃03：理解settings配置，监控Scrapy引擎
前言代码未动，配置先行。本篇文章主要讲述一下Scrapy中的配置文件settings.py的参数含义，以及如何去获取一个爬虫程序的运行性能指标。这篇文章无聊的一匹，没有代码，都是配置化的东西，但是呢不学还不行，属于Scrapy的枢纽，很关键。所以还请各位看官老爷耐得住这一章的寂寞。settings.py在我们创建一个Scrapy项目的时候，就会在项目下生成四个py文件，其中就有一个settings.py。其中大大小小配置也是有大几十个，这里只讲一些比较常见的，其他的还请移步官方文档。官文配置参数说
2021-07-30 09:46:04
273
原创 软考高级系统架构师论文，到底该如何写
前言2020年参加了软考高级系统架构师的考试，那是我在考场上第一次写论文，2小时2500字+，最后得分56。拿到成绩后写了一篇关于七天复习考过系统架构师的文章，作为一个自学者，深知网上系统架构师的资料搜集不易，所以将自己收集的系统架构师资料和自己做的笔记分享了出来，希望能给考友们提供一点帮助。后来在软考群里，认识了很多朋友，也希望我整理软考各科资料。在21年元旦前一天，花费一下午搜集整理了所有高级、大部分中级的视频、真题资料。公众号后台回复 软考资料 即可获取，架构师论文范文也在其中。前几天，上半.
2021-07-19 15:13:08
4438
4
原创 scrapy入门到放弃02：整一张架构图，开发一个程序
前言Scrapy开门篇写了一些纯理论知识，这第二篇就要直奔主题了。先来讲讲Scrapy的架构，并从零开始开发一个Scrapy爬虫程序。本篇文章主要阐述Scrapy架构，理清开发流程，掌握基本操作。整体架构自己动手画架构图一张：这就是Scrapy的整体架构，看起来流程比较复杂，但其实需要开发者参与的部分不多。这里先介绍一下各个部分。Spider：要开发的爬虫程序，用来定义网站入口，实现解析逻辑并发起请求。Pipeline：数据管道，可自定义实现数据持久化方式。Middleware：中间件，
2021-07-07 10:38:28
143
原创 为什么switch里的case没有break不行
前言一个小姐姐拿着一个switch的选择题来问我。之所以这么笃定地回答这个问题，并不是我知道其中原理，而是之前在一个群里，有人问了同类型的问题，我瞥了一眼记住了答案，所以才依葫芦画瓢。小姐姐接着问我为什么，我说少个break，但凡再问一句：为什么少个break结果就不一样，我就回答不出来了。所以，为了将尴尬扼杀于摇篮，还是研究一下break在switch的作用。从字节码出发按照惯例，先写demo表述问题。 public static void main(String[] args) {
2021-06-28 10:26:11
235
原创 【附PDF下载】2021年上半年信息系统项目管理师上午综合知识真题
MAC风格阅读链接：https://mp.weixin.qq.com/s/IQQKxBtbYm5UgyXic1T7Jw1.国家信息化体系包括六个要素,其中___信息化体系六要素中的龙头,是国家信息化建设的主阵地,集中体现了国家信息化建设的需求和效益。A.信息资源 B.信息技术应用C.信息网络 D.信息化政策法规和标准规范参考答案:B2.某行业协会计划开发一个信息管理系统,现阶段用户无法明确这系统的全部准确要求,希望在试用后再逐渐改进并最终实现用户需求,则该信息系统应采用的开发方法是__
2021-05-30 10:13:01
2029
原创 Python使用protobuf序列化和反序列化
protobuf介绍protobuf是一种二进制的序列化格式，相对于json来说体积更小，传输更快。安装protobuf安装protobuf的目的主要用来将proto文件编译成python、c、Java可调用的接口。# 如果gcc版本较低，需要升级gccwget https://main.qcloudimg.com/raw/d7810aaf8b3073fbbc9d4049c21532aa/protobuf-2.6.1.tar.gztar -zxvf protobuf-2.6.1.tar.gz -
2021-05-18 17:30:53
3018
2
原创 如何查看winmail.dat中的文件
前言今天收到一个邮件，原本附件是一个doc，结果发现就一个winmail.dat附件，而且邮件正文的格式也没了。我用的是mac，去AppStore下载阅读器需要花钱，网上提供的方案也没有解决问题。解决方案1.保存附件将winmail.dat保存到本地2. 网站解析点击https://www.winmaildat.com，进入解析网站，点击选择文件选择winmail.dat，然后点击Start开始解析。3.保存解析文件解析过后文件如下，点击每个文件即可下载到本地95后小程序员，写的
2021-05-18 16:54:28
475
原创 腾讯云CLS日志云化：Python开发API让日志飞到云上（附源码、详细步骤）
前言日志服务（Cloud Log Service，CLS）是腾讯云提供的一站式日志服务平台，提供了从日志采集、日志存储到日志检索，图表分析、监控告警、日志投递等多项服务，协助用户通过日志来解决业务运维、服务监控、日志审计等场景问题。简言之就是CLS提供了日志的云化存储，并提供了查询、分析、监控，告警等功能。所以今天就抱着好奇之心，来探索一下使用python如何将本机日志写入到CLS上。环境配置官方文档提供了详细的使用步骤使用步骤，文档链接如下：https://cloud.tencent.com/do
2021-05-18 11:28:36
607
转载 实习自学一年大数据，毕业二线城市14K
实习一年，自学大数据文章：https://blog.csdn.net/CatchLight/article/details/112762291前言又是一年乍暖还寒，春天的风迎面而来，凉意中夹杂着些许温暖。哦，你知道，是春天来了。就像那年的实习期，在挥手告别的毕业季，定格在了那年的七月。人会怀念，怀念青涩时期的自己，懵懵懂懂却又充满着努力。人会想念，想念每天朝夕相处的人，有一天会在转角挥手告别。人会改变，改变了不善言辞的自己，终游荡于人情世故之中。毕业近三年，从业大数据已近四年，顺着大数据的浪潮，在
2021-05-06 10:40:45
228
3
原创 实习一年，自学从Java转向大数据开发
大学如何自学java的文章：https://blog.csdn.net/CatchLight/article/details/112260371第一份实习offer专升本的第一学年末，凭借着自学Java拿到了人生的第一份Java开发的实习offer。我深知那时候我的Java水平有限，也深知能拿到offer并不是因为我多优秀，而是公司一批招了20多个人。17年7月，收拾好行李，和舍友体验了一天的找房、打扫、入住流程之后，于第二天的早晨第一次踏入了公司，开发岗的八个人被安排在空闲的工位上等待着新人培训。
2021-05-06 10:28:02
425
3
原创 斥资288买了三年服务器之后应该如何配置
前言阿里云95块钱买的ECS要到期了，续费的话需要1000多。想了想服务器上也没啥重要的东西，于是趁着腾讯云折扣，花了288买了个三年的CVM。CVM就是一个云虚拟机，这里就暂且叫它服务器。1核2G，看起来啥也干不了。但是作为测试环境，其实还是能做很多事情的。买之前，周围的人劝我安装虚拟机，但实在是不想天天开着VMware，而且也不想折腾自己的电脑，所以，288花的不亏！既然是新的服务器，必要的开发环境还是得要搞一下，所以这篇文章主要记录操作。顺便提一下，操作系统是CentOS7。主机操作建立互
2021-04-25 14:37:49
159
原创 Linux、windows配置gitee，并解决Permission denied (publickey)问题
生成公钥在linux或者windows中使用下面命令生成id_rsa.pub公钥。ssh-keygen -t rsa -f ~/.ssh/id_dsa -P ""在windows中要需要替换~/.ssh/这个目录。gitee配置这里我配置的是gitee码云。# linux中使用以下命令下载，windows中去网页下载yum -y install git登录gitee，进入设置，将id_rsa.pub中的公钥添加到SSH公钥中。测试ssh -T git@gitee.com问题
2021-04-22 11:21:38
468
原创 Scrapy入门到放弃01：开启爬虫2.0时代
前言Scrapy is coming！！在写了七篇爬虫基础文章之后，终于写到心心念念的Scrapy了。Scrapy开启了爬虫2.0的时代，让爬虫以一种崭新的形式呈现在开发者面前。在18年实习的时候开始接触Scrapy，花了一个月的时间，理论结合实践学习了Scrapy。本篇文章不写代码操作，只讲前因后果及理论，愿你懂得Scrapy。原生爬虫面临问题无论使用Java的Jsoup也好，python的requests也罢，开发爬虫都会面临下面几个问题：1.分布式爬虫程序一般只运行在一台主机上，如果是一
2021-04-21 09:40:42
165
原创 Linux CentOS7下修改hostname实测
方法一将/etc/hostname的内容修改成你hostname。使用下面命令指定：hostname -F /etc/hostname然后退出重新登陆方法二直接指定hostname：hostname -b CodeOnTheRoad然后退出重新登陆95后小程序员，写的都是日常工作中的亲身实践，置身于初学者的角度从0写到1，详细且认真。文章会在公众号 [入门到放弃之路] 首发，期待你的关注。...
2021-04-15 17:15:30
107
原创 解决方案！SparkStreaming使用mapWithState时，设置timeout()无法生效问题，解决方案和原因过程分析！
前言当我在测试SparkStreaming的状态操作mapWithState算子时，当我们设置timeout(3s)的时候，3s过后数据还是不会过期，不对此key进行操作，等到30s左右才会清除过期的数据。百度了很久，关于timeout的资料很少，更没有解决这个问题的文章，所以说，百度也不是万能的，有时候还是需要靠自己。所以我就在周末研究了一下，然后将结果整理了出来，希望能帮助大家更全面的理解Spark状态计算。mapWithState按理说Spark Streaming实时处理，数据就像流水，
2021-04-12 22:50:03
636
原创 爬虫入门到放弃系列07：js混淆、eval加密、字体加密三大反爬技术
前言如果再说IP请求次数检测、验证码这种最常见的反爬虫技术，可能大家听得耳朵都出茧子了。当然，也有的同学写了了几天的爬虫，觉得爬虫太简单、没有啥挑战性。所以特地找了三个有一定难度的网站，希望可以有兴趣的手动实践一下。此篇文章只作知识扩展和思路引导，其中涉及的网站反爬技术，仅做技术学习探讨。字体加密字体加密总结成一句话：你看到的不是你看到的。地址猫眼电影：https://maoyan.com/films/343568问题还原最近的哥斯拉大战金刚看了没啊，好看不，评分高不高，票房多少了？让我们去
2021-04-02 09:52:55
704
1
BerkerleyDb-18.1.40.tar.gz
2020-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人