- 博客(33)
- 收藏
- 关注
RSS订阅原创 scala(3)面向对象编程之类
定义一个简单的类：package com.doit.scc// 定义类，包含field以及方法class HelloWorld { private var name = "leo" def sayHello(){print("Hello" + name)} def getName = name}/*函数：类外边定义的def方法：类内定义的def注意：如果定义的def后...
2019-10-20 17:53:20
203
原创 scala(4)面向对象编程之对象、继承
package com.doit.scc1object Person { // object，相当于class的单个实例，通常在里面放一些静态的field或者method // 第一次调用object的方法时，就会执行object的constructor，也就是object内部不在method中的代码；但是object不能定义接受参数的constructor // 注意，objec...
2019-10-20 17:48:58
194
原创 scala（2）
过程在Scala中，定义函数时，如果函数体直接包裹在了花括号里面，而没有使用=连接，则函数的返回值类型就是Unit。这样的函数就被称之为过程。过程通常用于不需要返回值的函数。scala> def sayHello(name:String) = "Hello," + namesayHello: (name: String)Stringscala> sayHello("ynn")...
2019-10-15 19:39:49
185
原创 获取中国大学排名前400名
在终端显示前400名大学import requestsfrom bs4 import BeautifulSoupimport bs4import redef getHTMLtext(url): try: r = requests.get(url,timeout = 30) r.raise_for_status #查看响应是否是200 ...
2019-10-09 21:00:45
267
原创 获取淘宝信息（商品、价格等）存入csv文件
参考博客：(https://blog.csdn.net/qq_26373925/article/details/101185979)import reimport csvimport requestsimport timeclass shopping_list(): def __init__(self,searchkey,pageTotal): self.sea...
2019-10-06 00:28:29
3322
原创 Hive(3)
日期函数截取字符串：substr()日期函数：获取当前日期：current_date获取当前日期时间：current_timestamp获取当前时间戳：unix_timestamp()将当前的时间转换为想要的格式：from_unixtime()json函数解析以电影热度rating.json为例;//hive中先创建一张表，将一行的json看做一个字段 create ta...
2019-09-26 22:00:48
201
原创 Hive(2)
分区（partition by）hive> create table test_44(ip string,url string,staylong int) > partitioned by (day string) > row format delimited > fields terminated by ',';vi pv.data.201...
2019-09-26 16:15:57
97
原创 Hive(1)
1,xianghua,122,xiangrong,303,xiaodong,404,xiangning,20use default;create tables test_2(id int,name string,age int)row format delimitedfileds terminated by ',';load data local inpath '/home/us...
2019-09-24 20:53:27
118
原创 MySQL(2)
SQL语句免密启动MySQL：mysqld_safe --skip-grant_tables &此条命令执行后 执行set password=password(" ") 修改密码命令报错查看所有MySQL参数：show variables;show variables like “%format%” like 模糊查询show global variables li...
2019-09-19 21:51:14
119
原创 MySQL(1)
关系型数据库与非关系型数据库关系型数据库最典型的数据结构是表，由二维表及其之间的联系所组成的一个数据组织。（1）常见的关系型数据库包括：MySQL 、Oracle、MariDB、DB2、SQLServer等。（2）优点：容易理解、使用方便、数据一致性高、冗余低、数据完整性好、技术成熟、功能强大、支持很多复杂操作（3）缺点：读写性能比较差、固定的表结构，灵活性稍欠非关系型数据库：指...
2019-09-18 20:47:08
148
原创 python读取json文件根据电影ip求电影名的评分总和并按评分排序
import jsonwith open("E:/rating.json","r") as f: score = {} for line in f: dic = json.loads(line) #读取json文件所有内容 if dic["movie"] not in score...
2019-09-11 17:58:19
533
原创 HaoopDay06 根据电影ip求电影名的评分总和
package com.cou;public class UesrRateBean { private String movie; private Integer rate; private String timeStamp; private String uid; public String getMovie() { return m...
2019-09-11 17:52:12
213
原创 Hdoop Day05 wordcount
手动创建一个如mapreduce的jar包1.创建如下所示的class类2.在wordcountmapper中写package cim.dit;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.mapreduce.Mapp...
2019-09-11 17:49:04
136
原创 Hadoop Day03 HDFS常用命令参数介绍
HDFS常用命令参数介绍-help功能：输出这个命令参数手册-ls功能：显示目录信息示例： hadoop fs -ls hdfs://hadoop-server01:9000/备注：这些参数中，所有的hdfs路径都可以简写–>hadoop fs -ls / 等同于上一条命令的效果-mkdir功能：在hdfs上创建目录示例：hadoop fs -mkdir -p ...
2019-09-11 17:48:16
250
原创 HadoopDay04
package ynn;import org.apache.hadoop.fs.*;import org.junit.Before;import org.junit.Test;import org.apache.hadoop.conf.Configuration;import java.io.FileNotFoundException;import java.io.IOExcept...
2019-09-04 17:05:58
116
原创 Hadoop Day01集群搭建
yum -y install -y lrzsz 安装lrzsz ，以便上传文件mkdir -p /home/hadoop/apps 创建文件夹rz 将hadoop-2.8.0.tar.gz 和 jdk-8u181-linux-x64.tar.gz 上传到虚拟机配置ssh免密登陆： ssh-keygen -t rsa 产生公钥，在Hadoop01，Hadoop0...
2019-09-03 00:06:55
154
原创 Hadoop Day02
1.指定定时任务夫人软件：crond服务crontab :(1)安装：yum install crontabs(2)启动：service crond start(3)关闭：service crond stop(4)重启：service crond restart(5)重新载入：service crond reload(6)重新服务状态：service crond status修改任...
2019-09-02 23:24:12
121
原创 Python 获取QQ头像图片并保存到本地
import requestsimport reimport threadingclass QQ_head_picture(threading.Thread): def __init__(self,url,page,path,lock): threading.Thread.__init__(self) self.url = u...
2019-09-02 20:11:33
876
4
原创 Homewor07 _ 爬取清华新闻
import requestsimport reimport pymysqldef news_title(): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100...
2019-08-24 20:45:13
367
原创 Python Day07
多线程#在函数中执行线程.start_new_thread()import _threadimport timedef go(): for i in range(5): print(i,"---------------------") time.sleep(1)for i in range(5): #同时执行5次 _thread...
2019-08-22 20:50:31
124
原创 Homework06
import requestsimport reimport multiprocessingdef PUT(q): headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0....
2019-08-22 00:32:55
154
原创 Python Day06
进程锁import multiprocessingimport osimport timedef showdata(lock,i): with lock: print(multiprocessing.current_process().name) time.sleep() pr...
2019-08-22 00:12:24
116
原创 Python Day05
Python进阶PEP8编码规范：（1）代码编排： 缩进4个空格，禁止空格与Tab混用 行长80：防止单行逻辑过于复杂 （2）import:不要使用 from xxx import *顺序：1.标准库 2.第三方库 3.自定义库单行不要import多个库模块内用不到的不用去import（3）空格：装饰器闭包函数： #闭包函数： def foo(...
2019-08-20 22:39:37
131
原创 Homework_05
import jsonimport requestsimport multiprocessingdef text(path): song_play_url_list = [] song_name_list = [] with open(path,mode='r') as f: res = f.readlines()[0].strip('\n').s...
2019-08-20 22:17:57
179
原创 Python Day04
面向对象编程一、基础面向对象思想三大要素：封装、继承、多态。类和对象：类是对象的蓝图和模板，而对象是类的实例。类是抽象的概念，而对象是具体的东西。在面向对象编程的世界中，一切皆为对象，对象都有属性和行为，每个对象都是独一无二的，而且对象一定属于某个类（型）。定义类：class Class_name(object): def __init__(self): self.a = 10...
2019-08-20 00:00:34
101
原创 Homework04
#五角数def getPentagonalNumber(n): sum = 0 for i in range(1,n+1): num = i * (3 * i - 1) / 2 print(int(num),end = " ") sum += 1 if sum %10 == 0: print(...
2019-08-19 23:26:49
122
原创 HomeWork_week
#将csv文件读出来，并存到json文件中#将csv文件读出来，并存到json文件中import jsonimport csvimport numpy as npdef csvwjson(path): with open(path,'r') as csvfile: reader = csv.reader(csvfile) list = [] ...
2019-08-18 21:30:50
146
原创 Python Day03
函数1、一般形式： 声明 函数名字 （参数） def func_name([params]): 执行体 return xxx func_name([params])2.函数的参数：（1）默认参数：带默认值的参数一定要统一放在最后def fun_name(name,age = 12): print("{}今年{}岁了！".format(name,...
2019-08-18 21:30:13
232
原创 Homework03
#1.统计正数和负数并计算这些平均数def average(*shu): a = 0 b = 0 for i in range(len(shu)): if shu[i] == 0: break else: if shu[i] > 0: a += 1 #...
2019-08-18 19:27:45
95
原创 Homework02
1.解二元一次方程def hanshu(a,b,c): gen = (b*b) - (4*a*c) if gen > 0 : r1 = (-b + gen**0.5) / 2*a r2 = (-b - gen**0.5) / 2*a print("The root are {} and {}".format(r1,r2)) ...
2019-08-16 00:25:16
112
原创 Python Day02
一、循环结构for-in 循环：明确知道循环执行的次数或者是要对一个容器进行迭代时用到。主要用于计数的功能，真正的用途适用于可迭代对象。可迭代对象：（1）列表 （2）元组 （3）字典 （4）集合##eg1:用for循环实现1~100求和 sum = 0 for i in range(101):#range(start,end,step),前闭后开 sum += i ...
2019-08-15 17:45:46
167
原创 homework01
#华氏温度‘’’celsius = int(input(“Enter a degree in Celsius:”))fashrenheit = (9 / 5) * celsius + 32print(’{} Celsius is {} Fahren’.format(celsius,fashrenheit))‘’’#圆柱体的体积‘’’import mathradius = floa...
2019-08-15 08:34:26
107
原创 Python Day01~
一、初识PythonPython优点Python缺点：- [ ] 执行效率稍低，因此计算密集型任务可以由C++。- [ ] 代码无法加密，但是现在的公司很多都不是卖软件而是卖服务，这个问题会被淡化。- [ ] 在开发时可以选择的框架太多（如Web框架就有10多个），有选择地地方就有错误。Python的应用领域： 云基础设施 DevOps 网络爬虫开发 数据分析挖掘...
2019-08-14 17:52:18
130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人