- 博客(54)
- 收藏
- 关注
RSS订阅
原创 Python网络爬虫总结
一、网络爬虫之规则（1）requests库的应用requests库的7个主要方法：①requests.request()：构造一个请求，支撑以下个方法的基础方法②requests.get()：获取HTML网页的主要方法，对应于HTTP的GET③requests.head()：获取HTML网页头信息的方法，对应于HTTP的HEAD④requests.post()：向HTM...
2018-12-21 18:11:26
1109
3
转载 hive连接mysql中hive-site.xml的数据库配置文件
<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property>
2018-07-26 10:44:13
3230
原创 maven配置setting.xml修改远程和本地仓库地址+Intellij IDEA编辑pom.xml配置依赖
第一步：安装JDK，安装maven，Intellij IDEA进行配置1、JDK安装（略）2、Maven安装2.1 下载Maven2.2 安装Maven配置环境变量2.3 验证在cmd命令提示符窗口中输入mvn -version查看maven安装的版本号3、IDEA安装3.1 下载安装包 第二步：修改maven...
2018-07-23 20:46:12
16844
原创 CentOS 7系统中怎么实现免密登录（三个及三个以上机器）
假设三台机器分别为node01，node02，node03（1）在node01机器上，进入~/.ssh目录，输入命令：ssh-keygen -t rsa，然后连续四下回车（2）在node02机器上，输入命令：ssh-keygen，然后连续四下回车（3）在node03机器上进入root用户，输入命令：ssh-keygen，然后连续四下回车注意：1) .ssh目录的权限...
2018-07-15 23:59:36
8295
11
转载 如何将自己写的项目发布到外网上
将自己写的项目发布到服务器上自己开学的时候在腾讯云上面申请学生主机，一个月就一块钱，就申请来玩一下，想把自己写的东西发布到网上，但是申请后一直在JavaEE的进阶的学习，就放在那里，这两天想用用，就写了一个留言板放在上面（嗯，确实很粗糙的一个项目，学艺不精）。使用Tomcat和腾讯云主机来完成这个申请腾讯云主机https://www.qcloud.com/act/campus在云...
2019-07-13 10:52:38
2544
转载 IDEA2018破解
下载并安装IDEA甩个链接，官网：https://www.jetbrains.com/idea/下载破解补丁甩个链接，地址：http://idea.lanyus.com/jar/JetbrainsCrack-2.7-release-str.jar 已失效。新连接：JetbrainsCrack-3.1-release-enc.jar空手去破解将下载的文件放到安装IDEA路径的bin目...
2019-06-24 10:01:04
1097
转载 ubuntu16.04下postgresql常用命令，及图形化管理界面pgadmin3
1.创建用户create user jiraadmin with password '123456'; 创建jiraadmin用户并设置密码为123456alter role jiraadmin with superuser; 将用户赋予超级管理员权限create database jira; 创建jira数据库2.登录数据库psql -U ji...
2018-12-03 22:47:28
9573
原创 jsp中向mysql数据库插入数据中文乱码问题解决
1.在jsp页面中设置 页面 内容类型=文本网页;字符集设置=utf-8<%@ page contentType="text/html;charset=utf-8" %>2.在Servlet中设置①数据库连接时字符集=gb2312String url = "jdbc:mysql://localhost:3306/shop_system?useUnicode=true&a...
2018-11-08 09:32:23
760
转载 java中父类和子类的关系和使用
在java中规定：一个父类可以有多个子类，但是一个子类只能有一个父类。子类可以通过extends关键字来继承父类。做个比较通俗的比喻，就像一个父亲可以有多个亲孩子，但是一个孩子只能有一个亲生父亲。 1.继承以及重写：子类继承父类是对父类属性和方法的全面继承，同时子类在继承了父类的方法后，可对父类的方法进行重写。 public class Son extends Fat{p...
2018-09-18 11:57:40
2697
转载 Java、Javascript、Javaweb三者的区别
java：一种编程语言java web（JSP）：网页代码javascript：一种页面脚本语言，可以实现各种页面的动态效果，比如弹框，隐藏等首先，我们来说一下java 与 javaweb之间的关系 ： 我们平常说的Java一般指Java SE，也就是Java Standard Edition，Java的标准版，一般用来开发桌面应用程序，但是在开发桌面应用程序上相对VB，Delphi...
2018-08-21 14:59:23
19925
原创 python网络爬虫一些相关环境配置
（1）jupyterWindows下打开命令行，输入pip3 install jupyter，等待安装完成以后，输入jupyter notebook即可在8888端口打开浏览器jupyter在线笔记本，里面的UrllibTest文件（2）更改jupyter-notebook启动时的默认目录 1.打开 cmd ，输入命令 jupyter notebook --generate-c...
2018-08-20 19:16:43
360
转载 连接mysql-front数据库出现‘执行错误1251’的解决办法（有效）
原因是MySQL8.0版本的加密方式和MySQL5.0的不一样，连接会报错。解决方法：更改加密方式控制台中先连接mysql:再输入：ALTER USER 'root'@'localhost' IDENTIFIED BY 'password' PASSWORD EXPIRE NEVER;再输入：ALTER USER 'root'@'localhost' IDENTIF...
2018-08-19 18:43:10
1994
转载 新西兰留学流程
不用参加任何考试 前往新西兰留学的条件非常宽松，留学生不必参加竞争十分激烈的研究生考试即可申请。中国学生申请新西兰院校的研究生，只要符合大学本科毕业并获得学士学位、成绩优秀、雅思成绩6.5即可。 对于没有雅思成绩或雅思成绩不达标的留学生，同样可以通过有条件录取到新西兰之后先读语言，然后再进行研究生专业课程的学习。 可跨专业读研究生 如果留学生在研究生阶段不想继续学习本科专业，那么前...
2018-08-17 23:48:46
404
原创 各种语言Hello World程序
int类型占4个byte（字节），byte（字节）类型占1个字节，1个byte（字节）有8位（1）C语言：#include <stdio.h>int main(void){ printf("Hello World!"); return 0;}（2）C++：#include <iostream>int main(void){ ...
2018-08-12 18:26:12
2667
转载 Java前端和后端的区别
关于前端技术前端的话我想主要是指jsp，页面显示给用户的，前端技术的话比如ajax，javascript，EL这些技术关于后端技术后端的话主要是对于业务的控制和处理，比如访问数据库，进行数据更新查看修改等等....
2018-08-12 15:39:01
15260
2
原创 mysql常用命令
（1）mysql中A表：作为B表的外键，A表不能随便修改B表：有A表的外键，必须先处理好B，然后A才能修改。解决方法：可以先执行该命令：SET FOREIGN_KEY_CHECKS=0;然后在执行命令：alter table person modify person_id smallint unsigned auto_increment;（2）将一个数据库中的表导入到另一...
2018-08-11 16:50:50
133
转载 CBoard可视化工具以及大数据分析平台的设计与实现
****************数据可视化cboard*****************CBoard运行环境：JDK1.8、Maven3（源码编译）、MySQL5+/SQLServer（系统元数据存储）、PhantomJS 2.1+（用于看板导出和邮件发送）、Chrome#环境准备#安装phantomjs-2.1.3下载地址：https://bitbucket.org/ariya/phan...
2018-08-08 17:52:07
5877
转载 java学习之道 --- 如何学习java？
最近一直在重新学习java的基础，也写了一系列的博客（重新认识java系列）。很荣幸得到了许多同学的反馈。其中有许多人是初学者，来问我一些问题，也有一些是已经有过一定的基础，看了我的博客，也有了一些新的认知，来和我讨论。当然，大部分人都是在问我怎么学习，自己不知道该怎么学了，让我出个主意啥的，真正讨论问题的并且加了我好友的，大概只有两个吧。因为总有人陆陆续续的加我并且问我怎么学习啊啥的，一个一个...
2018-08-08 12:14:27
465
1
转载 SparkStreaming演示
首先启动hadoop1.sparkstreaming监听端口计算wordcount 安装nc：yum install -y nc 启动一个socket服务端口：nc -lk 8888 2.window窗口操作3.mapWithState状态管理，实现全局累加器4.用户行为分析系统#在kafka中创建主题bin/kafka-topics.sh --create --z...
2018-08-07 20:12:02
230
转载 MySQL登录MySQL、添加新用户、为用户创建数据库、为新用户分配权限
登录MySQL mysql -u root -p添加新用户允许本地 IP 访问 localhost, 127.0.0.1 create user 'test'@'localhost' identified by '123456'; 允许外网 IP 访问 create user 'test'@'%' identified by '123456';...
2018-08-07 19:36:51
1582
原创 Spark SQL演示与分布式SQL查询引擎
（1）通过sparksql访问mysql中的数据bin/spark-submit \--class bigdata.spark.sql.test.DFTest \--master local \./FirstSparkPro.jar（2）SparkSQL与Hive结合（类似的有Hive中处理SQL，直接用MapReduce计算处理）使用SparkSQL访问Hive将hive安...
2018-08-07 11:14:31
839
转载 Spark History Server配置、启动、spark运行环境优化
Spark History Server配置（1）spark history server查看运行完成的作业信息和日志（2）配置Hadoop的yarn-site.xml文件，所有节点配置文件同步，重启yarn<property> <name>yarn.log.server.url</name> <value>http:...
2018-08-05 13:20:02
1675
转载 Java常用库
典型的Java项目总会引用各种第三方库。本文为各种不同的应用总结了最流行、并被广泛使用的Java库。其中一些还提供了一个简单的例子，如果它上可以找到 ProgramCreek 的。最被广泛使用的库肯定非Java SDK莫属啦。因此，这次名单的焦点是介绍当前流行的第三方开发库。1、核心库Apache Commons Lang – 这个库对 SDK中 java.lang 的 API补充了非...
2018-08-04 17:01:33
222
原创 Spark模式及运行
spark shell本地模式：（1）使用spark shell需要开启Hadoop集群，在/home/hadoop/apps/spark-2.2.0-bin-hadoop2.7目录下执行命令：bin/spark-shell（2）val rdd = sc.parallelize(1 to 100,3)：定义一个不可变的变量为数字1-100，3个分区；rdd.count：计算rdd中有多...
2018-08-04 15:15:52
367
转载 hive课上演示
***************hive搭建完演示*********1.查看数据库show databases;默认只有default库2.创建用户表：user_info字段信息：用户id，地域id，年龄，职业create table user_info(user_id string,area_id string,age int,occupation string)row ...
2018-08-03 11:52:17
362
转载 MapReduce编程进阶课上项目演示说明
############需求1演示##########需求：一批TB或者PB量级的历史广告数据，需要完成如下功能统计粒度：按天统计统计指标：计算曝光量（PV）按照曝光量升序排列和倒序排列主要考察知识点：1）两个作业串行完成，第一个负责计算指标值，第二个负责排序2）升序利用shuffle阶段对key升序排列的特点3）倒序：重写IntWritable.Comparator比较器，默...
2018-08-03 11:51:05
219
转载 MapReduce中WordCount程序以及相应的pom.xml文件
（1）WordCount.java:package bigdata.mr;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritabl...
2018-08-03 11:48:49
1497
转载 Hadoop分布式安装
1、使用hadoop用户解压并安装到apps路径下1.1使用hadoop用户进入到在/home/hadoop/apps目录下cd /home/hadoop/apps注意：如果没有/home/hadoop/apps路径，自行在/home/hadoop路径下创建apps文件夹：mkdir /home/Hadoop/apps1.2使用rz将本机的hadoop安装包上传到/home/hadoop...
2018-08-03 11:46:51
310
转载 Zookeeper安装文档
1.下载Zookeeper安装包https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/2.zookeeper集群规划 主机名称 IP 部署软件 node01 192.168.183.100 ...
2018-08-03 11:42:02
330
转载 Flume演示
**************环境搭建简单的例子bin/flume-ng agent --conf conf --conf-file conf/example.conf --name a1 -Dflume.root.logger=INFO,console使用telnet发送数据telnet localhost 44444配置文件：example.confa1.sources = r1...
2018-08-03 11:39:54
165
转载 Kafka集群部署
1.集群规划 使用3台机器部署，分别是node03、node04、node052.下载Kafka安装包 下载地址http://kafka.apache.org/downloads，选择Kafka版本3.使用hadoop用户将安装包上传到其中一台机器上，并解压到/home/hadoop/apps目录下 tar -zxvf kafka_2.11-0.10.2.1.tgz -...
2018-08-03 11:38:51
112
原创 Flume常用命令
（1）在192.168.137.100机器上安装flume，然后在/home/hadoop/apps/apache-flume-1.8.0-bin/conf目录下配置好相应的配置文件，如：example.conf，进入到/home/hadoop/apps/apache-flume-1.8.0-bin目录下，输入命令：bin/flume-ng agent --conf conf --conf-fil...
2018-08-03 11:37:35
2685
原创 Kafka常用命令
（1）在192.168.137.102机器上安装了kafka之后进入/home/hadoop/apps/kafka_2.11-0.10.2.1目录，输入命令：bin/kafka-server-start.sh -daemon config/server.properties启动kfaka（2）在kafka创建主题命令：bin/kafka-topics.sh --create --zookeep...
2018-08-03 11:30:36
320
转载 使用hive自定义函数pom.xml的写法
在搭建hive自定义函数的maven环境中，开始报错：Missing artifact javax.jdo:jdo2-api:jar:2.3-ec然后开始加入jdo2-api 2.3-ec的dependency，结果还是报错，最后觉得还是pom.xml中hive版本与其他依赖不兼容的问题，于是找到了如下兼容的pom.xml，记录下吧：<project xmlns="http://ma...
2018-07-27 17:40:30
700
转载 亲测有效，解决Can 't connect to local MySQL server through socket '/tmp/mysql.sock '(2) ";
root@iZufkfljcZ:~# mysql -uroot -pEnter password:ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)网上找了好久，搜到的全部是重复的文章而且也没讲明为什么出现这个问题，找了一天才找到一篇讲解mysql.sock...
2018-07-27 11:46:10
394
转载 三台机器搭建Hadoop集群
目标： 一台Master 两台Slave 一、修改主机名，配置/etc/hosts文件 "/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息，是记载LAN内接续的各主机的对应[HostName IP]用的。当用户在进行网络连接时，首先查找该文件，寻找对应主机名对应的IP地址。在/etc/hosts文件里面添加如下： 可以ping 一下...
2018-07-27 10:23:19
3006
原创 hive注意事项
（1）hive中创建的表存储在mysql中和hdfs的/user/hive/warehouse路径下表中的元数据存储在mysql中（2）hive中创建的外部表在工作中最常用。假设hive中已经创建了rel数据库，hive中创建的外部表在mysql中和/user/hive/warehouse/data目录下，删除外部表时，数据库中表被删除，但是/user/hive/warehouse/dat...
2018-07-26 20:43:52
776
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人