droxy-CSDN博客

原创爬虫网页教程

对网页结构和 HTML 有了一些基本认识之后, 咱们就能用 Python 来爬取这个网页的一些基本信息. 首先要作的, 是使用 Python 来登陆这个网页, 并打印出这个网页 HTML 的 source code. 注意, 由于网页中存在中文, 为了正常显示中文, read() 完之后, 咱们要对读出来的文字进行转换, decode() 成能够正常显示中文的形式.we rom urllib.request import urlopen # if has Chinese, apply de..

2020-05-09 13:35:33 586

原创 hadoop 3.2.1 在windows10源码编译

一、Hadoop Hadoop是一个开源的大数据框架，是一个分布式计算的解决方案。 Hadoop的两个核心解决了数据存储问题（HDFS分布式文件系统）和分布式计算问题（MapRe-duce）。二、Hadoop特点 1、支持超大文件。HDFS存储的文件可以支持TB和PB级别的数据。 2、高扩展性。可建构在廉价机上，实现线性（横向）扩展，当集群增加新节点之后，NameNode也...

2020-05-08 10:58:59 809

原创 java锁

悲观锁线程拿到资源时，就对资源上锁，并在提交后，才释放锁资源，其余线程才能使用资源常见：synchronized、Lock，行锁，表锁，读锁，写锁等乐观锁拿到资源时，在提交以前，其余的锁也能够操做这个资源。当有冲突的时候，并发机制会保留前一个提交，打回后一个提交，让后一个线程从新获取资源后，再操做，而后提交。常见实现方式：版本号控制，CAS（通常状况下是一个自旋操做，即不断的重试）...

2020-05-07 09:18:34 161

原创 git 分支命令学习

分支建立 git branch testing 分支切换 git checkout testing git checkout master vim abc.txt git commit -a -m 'test ooo' git log --oneline --decorate --graph --all 跟踪分支 git branch -u origin/se...

2020-05-05 16:20:54 169

原创 centos7 安装禅道

1.安装php rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm yum -y install php72w php72w-cli php7...

2019-07-25 17:52:29 187

原创 MySQL5.7修改root密码

忘记密码： 1、修改 /etc/my.cnf，在 [mysqld] 小节下添加一行：skip-grant-tables=1 这一行配置让 mysqld 启动时不对密码进行验证 2、重启 mysqld 服务：systemctl restart mysqld 3、使用 root 用户登录到 mysql：mysql -u root 4、切换到mysql数据库，更新 user 表： u...

2019-07-25 17:34:09 180

原创 centos安装禅道

1.安装php rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm yum -y install php72w php72w-cli php7...

2019-07-08 12:39:25 279

原创记一次死锁事故 Deadlock found when trying to get lock

表结构如下： CREATE TABLE `T_QUESTION_ANSWER` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增', `project_id` int(11) DEFAULT NULL COMMENT '项目id', `question_id` int(11) DEFAULT NULL COMMEN...

2019-06-29 09:37:36 588