qq_40522646的博客

原创 scrapy框架初体验

scrapy框架是一个常用的爬虫框架，其中内嵌了许多的内容，使得爬取网页的过程不再像原生那样复杂。Scrapy的架构引擎：负责控制数据流在所有组件流动，并在相应动作是触发事件。可以理解为爬虫的大脑调度器：从引擎接受请求（requests）并将它们加入爬虫队列，可以理解把等待爬取的网页排队的功能下载器：负责获取页面并提供给引擎，相当于之前学的“获取网页”数据爬虫器：负责解析网页（response），提取数据，或额外跟进一些url，相当于之前的解析网页的功能。管道：负责处理被爬虫提取的数据（ite

原创 tomcat的安装及配置

1、准备环境jdktomcat64位环境（就是Windows 64位）我用的是15的jdk和10.8的tomcat，玩了一下还不错。话不多说，直接上截图。第一步下载就不多说了，各自官网去下就是了。第二步环境变量的配置...

原创 Python之进制转换问题

问题描述：用26个英文字母来分别表示1-26这26个数，然后27用AA来表示，求2021字母表示。先上代码：string='ABCDEFGHIJKLMNOPQRSTUVWXYZ'ans=[0 for _ in range(5)]index=0n=2021while n!=0: t=n%26 n=int(n /26) ans[index]=string[t-1] index+=1for i in range(index-1,-1,-1): print(an

原创 python之拆分子串的问题

python版本 3.9（重装了个系统，没备份，干脆装了个最新的python体验）pycharm 2020.3.5（一样）问题描述：下面有一个字符串，要求是拆分出他有多少个子串。0100010001110111011话不多说，先上代码在分析var=‘0100010001110111011’num = 1sep = 1var_n = []while sep < len(var): var_n.append(var[0:sep]) for i in range(len(

原创 python自带开发环境，IDLE的使用技巧

二级和许多竞赛都要求使用idle，闲来无事就整理了一些idle的使用技巧。1、首先，全程输入法英文模式，除开字符串等必须要中文的。（idle很多的快捷键，中文模式下一不小心就触发了，很烦。）2、代码补全，开发环境必备的技能，idle其实也有，在需要补全的代码后面按一下tab键试试，这适用于很多时候，记不住方法，记错了的等等3、撤销，回到上一步，这也是作为编辑器或者说环境必备的技能。Alt + p：返回上一次的输入Alt + n：与 Alt + p 相反4、移动代码块，python是严格讲究缩进的

原创 window10下，桌面显示此电脑图标

因为某些因为，重装了系统，一上来就想到此电脑图标，顺便写一篇。1、右键电脑桌面，选择个性化。2、选择到主题，往下滑，找到桌面图标设置。到这儿，就完了.

原创 IDEA中安装配置scala，并且编写HelloWorld

1、所需环境1、jdk 8或者11都可以，其他版本也可以尝试，官网。（传送门）2、scala 2.14 我的是14，其他版本可以去官网下载（传送门）msi安装文件，傻瓜式安装，不存在环境变量问题。3、idea 社区版就足够了,没有的请去官网下载。（传送门）4、Windows系统（这个就没有传送门了）2、配置环境变量jdk，scala环境变量就是把bin目录放到path里。具体步骤，看其他帖子吧。3、安装idea这个也不说了，傻瓜式安装4、在idea中安装scala插件1、文件，设置。

原创 hive的安装（1.2.1）

一、Hive 安装地址1．Hive 官网地址http://hive.apache.org/2．文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3．下载地址http://archive.apache.org/dist/hive/二、Hive 安装部署1．Hive 安装及配置（1）把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下（2）

原创 HBase API连接操作（表数据）

环境准备新建maven项目后在 pom.xml 中添加依赖：<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</version></dependency><dependency> <groupId>org.apache.h

原创 HBase Shell 操作

基本操作1．进入 HBase 客户端命令行[root@node1 hbase]$ bin/hbase shell2．查看帮助命令hbase(main):001:0> help3．查看当前数据库中有哪些表hbase(main):002:0> list2.2.2 表的操作1．创建表hbase(main):002:0> create 'student','info'2．插入数据到表hbase(main):003:0> put 'student','1001',

原创 hadoop3.2HA环境搭建，以及hbase的安装。

1、准备环境Centos 7虚拟机三台Jdk 13（8以上的版本就可以，记住不要下arm散分的那个包。）Hadoop-3.2.0Zookeeper-3.6.2hbase-2.3.1远程连接工具（随意，没有也行）（要注意，这里jdk的版本，官网可以查看jdk、hadoop、hbase三者之间的适配关系，要注意这里的版本，不然非常容易出现一些不容易辨别的异常。下面有例子。）2、 在搭建搭建hadoop集群之前，有一点很重要，那就是要确保你的虚拟机环境搭建。这里的虚拟机环境，指的是：1、 虚拟机

原创 cmd中javac时提示写入错误